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此 只 书 是 以 数学 、 计算 数学、 概率 统计 及 有 关 专业 的 高 
年 级 学 生 、 研 究 生 、 青 年 教师 及 数学 研究 工作 者 为 流 者 对 象 
PYM. DBR Pa, FP RB 代数 学 的 新 成 
就 ， 叙 述 精 纤 ， 约 相当 于 一 学 期 同学 时 为 3 的 研究 朱 诬 姓 的 
取材 。 我 们 编辑 出 版 上 吐 众 书 的 主要 日 的 是 为 了 适应 我 们 国 
家 培养 研究 生 的 需 费 ， 同 时 ， 又 可 作为 数学 及 有 关 RPE 
级 选修 课程 的 参考 书 ， 为 提高 本 科 生 的 教学 质量 贡献 一 份 力 
E, 
RRSAS: ARRETE 目的 选择 ， 内 容 的 取 ， 
材 提 出 宝 趴 意见， 作为 我 们 今后 出 版 或 再 版 时 的 参考 。 


北京 大 学 数学 从 书 》 编 委 会 
一 九 八 一 年 元 月 
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本 书 系统 前述 了 上 矩阵 计算 这 门 学 科 的 基 珊 理论 ， 革 本 方法 种 近 十 儿 年 来 发 展 成 部 
并 得 到 了 广泛 应 用 的 新 成 果 。 内 容 包 括 ， RR, PRP, 站 
MEAT BANUERARI, CER) RE, RAE, Re Ae 
的 ORF RAMA, Lanczos 方法 以 及 求解 Jacobi PAKEARABM E24 
化 方法 等 。 

EPRA, KERRAEN, ARGAE, AS T RE N N M tE, 
BRT DSHORRER. KRABAR, ILA, TRE RARE 
需要 。 、 

本 书 可 作为 计算 数学 、 应 用 数学 等 有 闫 专业 高 咎 级 大 学 生 和 研究 生 的 教材 或 教学 
参考 书 ， 也 可 殿 从 事 科学 计算 的 数学 工作 者 、 工 程 技术 人 员 和 和 高校 有 站 专 业 的 高 年 级 
大 学 生 和 教师 参考 。 
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写 这 本 书 的 主要 日 的 ， 是 为 计算 数学 有 关 专 业 研 究 生 和 高 年 
级 大 学 生 提 供 一 本 既 能 反映 年 阵 寺 算 的 基础 理论 、 基 本 方法 和 最 
新 进展 ， 又 具有 实用 性 和 局 发 性 的 教学 参考 书 ， 使 之 通过 这 本 书 
的 学 习 ， 个 比较 全 面 、 系 
统 的 了 解 ， 并 为 进一步 学 习 与 研究 ， 打 下 一 个 蒋 好 的 基础 ， 

er st eh i 
介绍 此 阵 计算 这 门 学 科 近 十 几 年 来 发 展 成 殴 并 得 到 了 广 证 应 用 的 
Miche, Hh ERO. ASAPH, X 
共 声 剩 侠 法 ， 广 义 极 小 剩余 法 ，Lanczos 方法 ,求解 特征 值 问题 的 
同 伦 方法 和 分 而 治之 共 ， 以 及 求解 Jacobi 个 阵 特征 值 反 向 是 的 下 
交 约 化 法 。 对 每 一 种 数值 方法 ， 既 注重 了 此 数学 理论 的 严谨 性 ， 
又 注重 了 其 实用 往 ， 而 旧 还 在 其 来 龙 去 脉 上 花费 了 较 多 的 笔墨 。 
每 章 都 精 选 了 几 道 礁 易 程度 不 同 的 习题 ， 几 以 帮助 读者 复 避 、 巩 
固 和 加 深 理 解 有 关内 容 。 书 术 还 附 有 大 量 较 新 的 参考 文献 。、 以 便 
读者 进 -- 步 深究 有 -类 内 容 时 参考 . 

为 了 适应 各 种 不 同 的 需要 ， 本 蔬 各 童 内 容 相对 独立 ， 读 省 可 
根据 自己 的 需要 选择 其 中 任何 -一 部 分 进行 学 习 ， 而 不 会 受到 前 面 
有 关 章 竺 内容 的 影响 。 此 次 ,为 了 满足 只 关心 应 用 的 读者 的 需要 ， 
书 中 对 那些 较 实 骨 的 方法 都 写 出 了 比较 详细 的 算法 ， 根 据 这 些 算 
法 去 编制 适用 的 软件 应 该 说 不 会 有 太 大 困难 ， 

本 书 的 大 部 分 内 容 ， 作 者 兽 在 中 国 科学 院 研 究 全 院 和 北京 大 
学 为 研究 生 开 设 的 数值 代 米 课 上 讲授 过 多 次 。 根据 作者 的 经 验 ， 
讲授 完 本 BARAR TES MAn Esh EE AEA 
学 基础 ， 不 超过 线性 代数 和 数学 分 析 的 范畴 。 因 此 ，- EI, 
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对 于 计算 数学 和 应 用 数学 有 关 专 业 的 襄 年 级 学 生 和 研究 生 ， 阅 读 
本 书 时 应 该 不 会 感到 困难 。 

(ER RRM REIS. Bie ER IER RAY 
持 。 计 算数 党 教研室 的 金 体 同志 曾 对 本 书 的 编写 大 网 进行 过 认真 
的 讨论 ， 并 提出 许多 宝贵 的 建议 和 意见 ， 存 此 向 他 们 表示 惠 心 的 
感谢 。 还 要 感谢 孙 继 广 教授 ， 他 一 直 关 心 着 本 书 的 编写 和 出 版 ， 
并 仔细 地 审 疝 了 全 部 手稿 ,: 同时 还 要 感谢 责任 编辑 刘 勇 同志 为 机 
书 的 出 版 付出 的 辛勤 萝 动 。 

RAR, BEDS SAM, Bi ee 
指正 ， 以 期 今后 改正 . 


Agito 
1994 年 9 月 于 北京 天 学 
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第 一 章 ”和 矩阵 知识 的 复习 和 补充 


§1 主要 记号 和 定义 


为 了 以 后 行文 方便 和 避免 不 必要 的 重复 ， 这 一 节 将 本 书 常用 
的 一 些 记 号 和 术语 作 一 简要 的 说 明 . 

实数 的 全 体 用 及 表示 实 n 维 向 里 的 全 体 用 及 "表示 ; mxn 
KEEKEKE R deans 对 应 的 复元 E 的 集合 分 别 用 C, C 
和 C"* RAR. 

对 于 给 定 的 AEC”"*"， 我 们 用 4,47 和 A* 分 别 表示 矩阵 4 
My Jee, Pe ALBERS B ARE: JA rank(A4A) 表 示 4A 的 秩 ; MCT" 
表示 CU “中 所 有 秩 为 > 的 第 阵 的 全 体 。 

如 果 ACC" MR An BARE: Pare n BREA, 
我 们 用 detCA) Ml (A) 4 ail Ze as A HITIA; 如 采 det(A) 
“0, RRR A TEI SR X FIERE A, FA dean A out 
n 阶 单位 方 阵 用 Tn don, ERO k AAD ek 表示 ， 即 

i 


1» = . 
0 J Nan 


eg = 0, *,0, 1,0; DTEC". 
k 


当 维 数 从 上 下 文中 一 日 了 然 时 ， 我 们 就 简 记 它们 为 1 和 。,. 
对 于 AE C"*， 我 们 记 l 


A= [Cistet Cn] 
是 指 ckEC" 是 4 的 第 天 列 : 同样 


rI | 
BRST. CC’EAWS k THR n 维 列 癌 最。 
POC HB PR FB RIVAZ PRA TE 2S HPS a, BY 


A= 


#'={xeEC*™, x*¥=0, 对 一 切 的 VE 名 成 立 }， 

iz dit, an E C’, Gir dmn 所 有 线性 组 合 构成 的 集合 称 之 为 
ai …y an 张 成 的 子 空间 ， 记 作 span{ay,,** On}. 

BRAC C”"**， 有 有 两 个 与 4 有 关 的 重要 的 子 空间 : A 的 值 域 
《或 称 像 空间 ) 

BA) = {ye C"; y= Ax, xEC"), 
AN A AS SESS iA) RRR) 
| (A)= IxEC": Ax=0}. 

我 们 用 diag (a, =., ap) 表示 对 fi 元 素 为 Qn" ,Qn 的 n 人 险 对 
角 降 ， 且 当 AFERE CARRERA ME. 

{1,2,…… ,7n) 的 排列 的 全 体 用 .rn 表示; 对 于 任意 的 TE Fns 
4 

i Pa S| ewir migs tt amd 

并 称 之 为 对 应 于 工 的 排列 方 阵 ，” 阶 排列 方 阵 的 全 体 记 作 Pa. 
WIS nF neh MY 个 元 素 ， ， 

it ACEC”, mÈ A*A=I, WIA 2 BRB, n 阶 西 矩阵 
RWE. 如 果 A* = 4, 则 称 4 是 Hermite RE; 如 果 A*A 
= AA*， 则 称 4 是 正规 给 阵 。 显 然 ， 西 矩阵 和 Hermite 4 pE APE 
正规 年 阵 。 实 本 年 阵 称 作 实 正 交 矩阵， 实 Hermite BER 作 实 对 

2 : a 


BAERE, n 阶 实 对 称 和 矩阵 的 全 体 记 作 SR"**。 对 于 一 个 Hermite 
矩阵 4， 如果 对 任意 的 非 零 向 量 xE C"， 都 有 x*Ax>0( 或 x*Ax 
>>0)， 则 称 4 是 正定 的 《或 守 正 定 的 ). 

设 AeC"**。 如 果 存 在 xE C*" 和 4EC 满足 


Ax= AX, x0, 
则 称 A 是 A ROGER. xx 是 4 属于 ORE. A 的 特征 值 的 
AIEA. RABIE AEA) 的 充分 必要 条 件 是 
det(Al-A)=0, - 
因此 ， 多 项 式 p(4) = det(41 - A) RE ARRESTER. 
显然 有 det(41 一 A) = det(41 - AT), 因此，4(A)=4(A7). 
二 是 ， 对 任意 的 4E 4(4), 必 在 在 非 零 向 量 yE C”"， 使 ATy= Ay, 
HI yTA=Ay", ERY HARP AWARE: RR. BFA 
的 特征 向 量 亦 称 作 4 属于 1 的 右 特 征 向 量 。 通 常 左 、 右 特征 向 量 
是 不 相等 的 。 
如 果 有 A 有 7 个 互 不 相同 的 特征 值 02127r EINE SPO) 
(SHAY UAE MCA) Aad en) E, Bl 


PAS TO-ADr 0, AA GND, 
i=l 


人 > ) =n, 
i=l 


则 称 NCA) ARREN MER 
mà; )=n—rank(A;I- A) 


-为 4 的 几何 重 数 , 它 表 示 4 之 属于 1, 的 线性 无 关 的 特征 向 量 的 个 
数 。 显 然 有 


ISMA D En(A,) <n, 


值得 指出 的 是 ， 儿 何 重 数 和 代数 重 数 是 两 个 不 同 的 和 概念。 但 
习惯 上 人 们 将 代数 重 数 简称 为 重 数 。 例 如 ， 在 今后 的 叙述 中 ， 我 
们 说 2 是 4 的 P 重 特征 值 ， 是 指 4 的 代数 重 数 是 P 。 一 般 将 代数 
重 数 为 1 的 特征 值 称 作 单 特征 值 . 

如 果 4,BE C"*" 满 足 A4=X-'BX， 其 中 XX 是 非 奇 异 的 n 阶 
方 阵 ， 则 称 A 与 BB 相 似 。 KART, MRA BAM, TW 

det (CAT —A)=det(Al - B). 


因此 ， 相 似 矩 了 泗 有 相同 的 特征 多 项 式 ， 从 而 它们 有 相同 的 特征 
值 。 
FRR ACC", APM AM Jordan 标准 形 定 理 。 
定理 1.1 设 4 有 7 个 互 不 相同 的 特征 值 1,… A ER 
Bear AA nA, ,nCAr)， 则 必 存 在 韭 奇异 算 阵 PEC"*" ,使 得 


PLAP = J=ædiag( JCA), °° J CAs), 


其 中 
TOA) = diag Ji AD) se Te AID ECA, 
Ai I 0 
Ay 
J, CA) = 1 CCAR AY, [okok,; 
0 4, 


k 


i 
Dm AD = NA), 1ST; 
k= 


并 且 除 了 《41) 的 排列 次 序 可 以 改变 外 ， 了 是 唯一 确定 的 。 
定理 1.I 中 的 了 称 作 4 的 Jordan 标准 形 ， 其 中 每 个 SeA) 
称 作 Jordan 块 。 
如 果 A tty Jordan 标准 形 中 每 个 Jordan 块 都 是 一 阶 的 ， 则 称 


A 是 非 亏 损 和 的 ;， 否则 称 A 是 亏损 的 。 对 于 非 亏 损 和 矩阵 有 下 面 重要 
结果 。 O 
定理 1.2 ik AE C"**。 则 下 面 三 条 等 价 : 
(1) 4 非 亏损 
(2) FEJER Sa Of A=OQAQ0', Ht 


A = diag (Ays***,An)3 


(3) mOA;) =nCAq), ALEAC). 

基于 定理 1.2 的 (2)， 人 们 通常 亦 称 非 亏 损 矩阵 为 可 对 角 化 抵 
阵 〈 即 可 相似 于 -个 对 角 阵 ). 

如 果 4 的 每 个 特征 值 的 几何 重 数 都 是 1 ， 即 4 属于 每 个 特征 
值 的 线性 无 关 的 特征 向 量 的 个 数 均 为 1 ， 则 称 A 是 非 碱 次 的 ， 否 
MEKA ERKE. KORE AE WR te 等 价 于 4 的 Jordan 标准 形 中 的 
每 个 特征 值 对 应 的 Jordan 块 是 唯一 的 。 

此 外 ， 我 们 用 8; ;来 表示 Kronecker 记号 ， 即 


O:4c 


(° t=], 
t? l, =f, 


§2 Schur 分 解 和 奇异 值 分 解 


这 一 节 ， 我 们 介绍 两 个 理论 上 和 应 用 上 都 非常 重要 的 矩阵 分 
解 定理 ， 即 Schur 分 解 定理 和 奇异 值 分 解 定理 。 
2.1 Schur 分 解 
引 理 2.1 对 于 任意 的 x= Cay, 0s)TEC",x 半 0， 如 果 令 


-pile 当 a=0 时 ， 
p= (2.1) 


— etree tel, 当 a, 08, 
并 定义 


H(w) =I-Qww*, (2.2) 
其 中 
w = (x—pe)/lx ~ perf, (2.3) 
则 有 
H(w)x = pe;, (2.4) 


证 明 直接 验证 等 式 〈《2.4) 即 可 。 
容易 证 明 ，(2.2) 所 定义 的 矩阵 A (w) BE At Hermite 矩阵 又 
EAEE, BI | oo 
H(w)* = H(w) = Hw)’, (2.5) 
利用 引 理 2.1 和 数学 归纳 法 可 证 下 面 的 定理 。 
定理 2.1 (Schur 分 解 定 理 ) HACC’. WHEUE!.,, 
使 得 
| U*AU =T, (2.6) 
其 中 了 是 上 主角 和 矩阵; THAR 7， 可 使 了 的 对 角 元 束 接 
任意 指定 的 顺序 排列 ， 
证 明 对 和 矩阵 的 阶 数 n 用 数学 归纳 法 ， 
32= 1 有 时， 定理 2.1 显 然 成 立 。 下 面 考 虑 n 放 1 的 情形 ， 并 假定 
定理 的 结论 对 7n 一 1 的 情形 已 经 成 立 . 
设 4E4(4) 是 我 们 希望 排 在 左上 角 的 特征 值 ,并 假定 xE C"， 
xss0， 是 对 应 于 4 ORE Ia) et, B 


Ax = /x.。 


由 引 理 2.1 知 ， 存 在 Hermite MM H 和 韭 零 常数 p ， 使 得 


Hx=pe,, 


HAHe,= HA(1 x) =e. 


ix Fe HAH 有 如 下 形状 
HAH = |’ "| 
0 Ay 
其 中 A ee n- 1 阶 方 阵 。 ERRI ACAD = ACAD = {å}, 由 归纳 法 
假设 知 ， 存 在 U1E L.A 
UAU: =T, 


其 中 了 是 上 三 角 矩阵 ， Mi H. Ti 的 对 角 元 素 按 我 们 指定 的 次 序 排 
列 。 现 令 
U = Hdiag(1.U)), 


MUEZ., HU*AU 具有 定理 2.1 要 求 的 形式 .证 毕 。 
722.1 分 解 式 (2.6) BRIE A BY Schur >, REMITIR 
fe ARJ Schur 上 三 角 标 准 形 ， 可 记 作 


， T=A+M, 4=diag(h tt, An); 


其 中 M 为 严格 的 上 三 角 和 矩阵 ，4; 为 4 的 特征 值 ， 
从 定理 2.1 立 即 可 得 
推论 2.1 iz ACC”. WI 
(1) A 是 正规 盾 阵 的 充分 必要 条 件 是 存在 UE ,使 得 


| U*AU = diag (Aist, An); 
(2) 4 是 Hermite REUE UER TEUEZ, 和 实 


对 角 和 矩阵 A 使 得 
U*AU= A. 


2.2 奇异 值 分 解 


定义 2.1 设 ACSC". A*A 的 特征 值 的 非 负 平方 根 称 作 有 4 
的 奇异 值 ， A 的 奇异 值 的 全 体 记 作 OCA 

定理 2.2 (奇异 估 分 解 定 理 ) 设 AEC?**、 则 存在 UE&。 
和 VE.， 使 得 


Z, Oar 
UFAV = | | 3 (2.7) 
0 0 
其 中 X = diag(0,,*+,0,),0,-2-- 20, >0. 
证 明 由 于 A*A 是 半 正定 的 Hermite Sipe, H rank(A*A) 
= rank(A)， 故 A*A 有 如 下 形式 的 Schur 分 解 
V*(A*A)V = diag(0? ,++,02), (2.8) 


E p V = [uea] E Ya, 0 eee 0, > 0,0,,, = = 9, =0. 
4 
Vi = [vin] V= [Vrata Jy dy = diag(O,,+,0,), 
则 从 《2.8》 可 得 
VICA*A)V = 27, (2.9) 


VCA*A)V,=0,. - (2.10) 


《2.9) BHA AV, 的 列 是 相互 正 交 的 ; 而 (2,10) 表 明 AV, 的 列 都 
是 零 向 量 ， 即 AV,=0. Ak, + 
U= AVIZ;!, 

Mj UIU: = Ire H UEC” HE US [UU] E Y n (CRAY 
任何 一 组 正 交 向 量 都 可 扩展 成 全 空间 的 一 组 正 交 基 )， 则 有 
UTAV, UiAVa |] 0 | 
UZAV: UAV, 0 0 

注 2.2 分 解 式 (2.7) 称 作 4 的 奇异 值 分 解 ， 通 党 简称 为 
SVD; VŘ% i Jiv = Ve, REAR Fo 的 一 个 单位 右 奇异 向 
量 ,U 的 第 1 列 u; = UVei WEAR ci 的 一 个 单位 左 奇 异 向 
量 . 
” ”这 里 值得 指出 的 是 ， 分 解 式 2.7》 中 的 2, 是 由 A 唯一 确定 
的 ， 但 对 每 个 奇异 值 ci 对 应 的 单位 奇异 向 量 一 般 则 是 不 唯一 的 ， 
仅 当 cci 关 0) 是 A*A 的 单 特征 值 时 才 唯 一 ( 除 相差 一 个 单位 复 
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U*AV=| 


数 因 子 外 ); “407 是 A*A 的 重 特 征 值 时 ， 对 应 的 单位 奇异 向 量 
可 取 作 相应 特征 子 空间 中 的 任何 一 个 单位 向 量 。 但 如 果 一 旦 右 奇 
异 向 量 vi 已 经 选 定 ， 则 相应 的 左 奇异 向 量 ui 亦 随 之 而 确定 下 
来 ， 即 
u; =0}] ÁAv;; 
有 反 过 来 ， 如 果 一 旦 u; 已 选 定 ， Riv; oR 
A*u; =o jv; (0; ¥0) 

唯一 确定 ， 

注 2.5 从 定理 2.2 的 证 明 过 二 种 可 以 看 出 ， 当 AER” "ht, > 
解 式 (2.7) "PAG U AV 可 取 作 实 正 交 和 矩阵 。 

从 4 的 奇异 值 分 解 ， 我 们 可 以 得 到 4A 的 一 些 非常 有 用 的 信 
息 ， 下 述 推论 就 列举 了 其 中 几 条 最 基本 的 结论 。 

推论 2.2 iEAE CT", Mi 

C1) 4 的 非 零 奇 异 值 的 个 数 就 等 于 r= rank(A); 

C2) vr ii…w)U 是 .PC4) 的 一 组 标准 正 交 基 } 

(3) uy, ttr ft MCA) — FAME E EK; 


(4) A= Douvi = UE VCE A HORE SEED AD. 


作为 本 节 的 结束 ， 我 们 来 考 赛 一 下 奇异 值 的 几何 意义 。 先 考 
虑 -一 个 简单 的 例子 。 设 


3 0 
A= Emu ， [on v21", 


Herp u, = (1/2, 3 /2)7 uy. = (V 3 /2, -1/2)T vo, =(V 2/2, 
V 2/297, = (4 2/2,-42/2)7 WAM ERM x= Fr 
+E ER’, 有 

Y=AX=N UW, + Motto, 
其 中 = 321, M= 02. 因此， 如 果 1xj=1， 即 地 十 一 工 则 对 
应 的 y= ui + yu, 满足 


n? 
~ . 3° ' 
这 表明 A 将 RR? 中 的 单位 图 {xER?，]zxj;=1} 变 成 了 椭圆 E。= 17 
= Ax; xl = 1+， 而 两 个 奇异 值 正 好 是 这 一 椭圆 的 两 个 半 轴 长 ; 
长 轴 所 在 的 直线 是 span{u1}， 短 轴 所 在 的 直线 是 span{4s}, 它们 
分 别 是 spPan{v1} 和 span{v2} 的 像 《 如 图 2.1 所 示 )，。 


+n2=1, 


span {uz} 


Ae 
7 


E,={y€C"; y= Ax, xEC", lxl,= 1} 


是 一 个 超 椭 球面 , 它 的 7 个 半 轴 长 正好 是 4A 的 nn 个 奇 宣 值 Oo, 
宇 … 宇 0, 之 0， 这 些 轴 所 在 的 直线 正好 是 A 的 左 奇异 向 量 所 在 的 
直线 ， 它 们 分 别 是 对 应 的 右 奇异 向 量 所 在 直线 舶 像 。 


$3 向 量 范 数 和 和 矩阵 范 数 


3.1 向 量 范 数 


定义 3.1 wpe EC’ 上 的 一 个 非 负 实 AR |, Ht 
任意 的 x ;VEC" Macc MFA: 
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(1) 正定 性 x0>]x]>0, 
(2) 齐 次 性 :laxl = lal |x], 
(3) 半 可 加 性 ;1z + yl 所 |xl + yl, 
MIRI |AC* 上 的 一 个 向 量 范 数 。 
C* 上 最 著名 的 范 数 是 p ERK CORR Holder JER): 


R 1 
lh (站 rs Eemi TEC BD 
ZEIK. AHH HA p=1,2, + COPAY PER, BN 


Ist = DYE 
Ie (D1) 


[x].= max |&i|。 
1<37a7 


关于 } + |， 和 1 l- 满足 向 量 范 数 定义 的 三 条 是 容易 验 证 mi 
要 验证 | , |,(1<p 二 co) 是 C* 上 的 向 量 范 数 ， 则 需 用 到 著名 
的 Holder Ase, 


Danil<lxlslxls, 


其 中 x= (Epee, Es) 和 了 = (iTITCC" Pd 均 为 大 于 1 的 
实数 ， 且 满足 二 + = 1 此外， 范 数 还 有 下 面 的 重要 性 质 ， 

. (1) HEER LISa 

Wxe<ixl,, VXECQC"; 

(2) limlxl, = [xls VxXEC". 
有 关 这 些 结果 的 证 明 ， 这 里 不 再 给 出 ， 有 闪 趣 的 读者 可 参阅 江 霄 
分 析 方 面 的 有 关 书 籍 、 

在 实际 应 用 中 ， 当 常 需要 利用 已 知 苑 数 去 构造 出 实用 的 新 范 
数 ， 下 述 定理 给 出 一 种 最 简单 的 构造 方法 。 

Il 


定理 5.1 设 | .| 是 C” 上 的 范 数 ，4E CYx*(m>>mD。 则 四 
v(x) = | Ax], xEC', (3.2) 
Bra SAGE SEAR EC" 上 的 范 数 。 
证 明 直接 验证 这 样 定义 的 vi Ae EMS. ISAT. 
推论 3.1 设 AEC] HEERE. MH 
Ixļa =v x*Ax, xE C' (3.3) 
ELI. la Æ C 上 的 范 数 。 
(3.3) 所 定义 的 范 数 是 非常 重要 的 ， 在 某 些 实际 应 用 中 常常 
是 十 分 方便 的 。 
C ”上 的 范 数 的 一 个 非常 重要 的 性 质 就 是 范 数 等 价 性 ， 即 
定理 35.2 iil: (Al: 上; 是 C" 上 的 任意 两 个 范 数 。 则 存在 
TER 6, 和 5。， 使 得 对 任意 的 xeEC" 都 有 
bike] EFEC EIE (3.4) 
即 这 两 个 范 数 是 等 价 的 
证 明 首先 ， 对 任意 的 x= (81,0, F O7TEC'’, 利用 范 数 的 
性 质 和 Cauchy 不 等 式 ， 可 得 


let = | eve, 


<D ţi llelo (3.5) 、 


其 中 n=(Z le) =o, x BK. 


其 次 ， 令 
n= inf [yl 


其 中 Soi={yEC": lyls =1).。 由 下 确 界 的 定义 知 ， 必 存在 


{Y ] k-18 使 得 
lim [yl =Vie 
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再 由 Weierstrass RRMA Ss- MARAE, (Yh BE 
有 一 个 收敛 于 Sa- 中 某 点 的 子 序列 ， 现 不 妨 就 假定 {yi}?-1 收 
BF VES- 即 

lim |y; —Yol2=90. 

Eo 
由 范 数 的 半 可 加 性 和 《3,5)， 可 得 


[yl lyol] ly ~ yl ly ~ Yolle, 
从 而 有 
Vi = lim ly l= lyof >00. 
现 对 任意 的 非 零 向 量 xEC"*， 有 =x/lxzlseS.-:， 因 此 
z= Cty = Ji 全 六 zx。 (3.6) 
H(3.5 #103. OAH 
yilxl,< |x] <r.) x], (3.7) 
对 一 切 的 xEC" 成 立 ， 其 中 yj My Bx 无关。 
fia] FB ay FRB AG x 无 关 的 正 数 1, 和 N, 使 得 
nxj,< jxl, <7: lx] (3.8) 
对 一 切 的 xEC" 成 立 。 
由 (3.7) 和 (C3.8) 即 知 (3.4) 成 立 ， 其 中 S= N/a 82= n/V 
是 与 无 关 的 正 数 。 证 毕 。 
对 于 常用 的 三 个 Pp 范 数 ， 容 易 验 证 ， 对 任意 的 xeC*， 有 


leles lx Snl, 


-fs<ilzl<izl， 


h<i]. 
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用 拓扑 学 的 语言 来 讲 ， 定 理 3.2 是 说 ， 尽 管 在 C" 上 可 有 各 
种 各 样 的 范 数 ， 但 它们 所 诱导 出 的 拓扑 却 是 一 样 的 ， 即 它们 有 相 
同 的 开 集 和 闲 集 。 因 此 ， 在 C* 上 关于 各 种 范 数 的 连续 性 概念 是 
一 样 的 。 例 如 ， 下 述 定理 指出 了 极限 定义 的 等 价 性 ， 

定理 5.5 NDE C ERER = Eis ETE 
CC”, k=0,1,2,"…。 则 lim lx,-x,/=0 ERÄ lim E = p9, 
i =1,2,+ sty, BERLE OF eRe a. 7 

证 明 留 作 练习 。 


3.2 矩阵 范 数 


定义 3.2 ”如 果 定 义 在 C"“" 上 的 一 个 非 负 实 值 函数 | .1 ,对 
任意 的 A4,BEC"** 和 cEC MA 

d) ett: Ax0>|Al>0, 

(2) 齐 次 性 :jaAl = lal Al, 

(3》 半 可 加 性 ， 14+ BI 三 IA + IB] 

(4) ARH: JABI<SIANBI 
则 称 | .| 为 C" "上 的 矩阵 范 数 ， 

C| 上 一 个 常用 而 又 易于 定义 的 矩阵 范 数 就 是 


lAl =( >> lail), A=[a;;]EC"*"., (3.9) 


通常 称 作 Frobenius 范 数 ， 有 时 亦 称 作 Euclid 范 数 ， 因 它 是 C* 
上 的 Euclid 范 数 | 。|。 的 自然 推广 。 此 外 ,利用 奇异 值 分 解 定 M, 
容易 证 明 


lair=( 50), | (3.10) 
其 中 01,02,…,0, E ARAM. 


注 5.1 由 于 我 们 可 以 将 C"*" 中 的 矩阵 4 看 作 C" 中 的 一 
个 向 量 ， 因 而 C'** 上 的 任 一 矩阵 范 数 都 可 以 看 作 C"” 上 的 一 个 
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向 量 范 数 。 于是， 根据 定理 3.2 和 3.3 可 得 : | 
d) C= 上 的 任何 两 个 范 数 都 是 等 价 的 ; 
(2) FER ie Oe SF Or PRE TCH eee, BY 


lim JA A = = 0] lim max |a} _ aP] = _ 


其 中 Aw ~ Ta jJEec***, k=0,1,2,++, 上 :| 是 C"*"* 上 的 任 一 
和 矩阵 范 数 ， 

注 3.2 ”由 于 向 量 序列 和 第 阵 序列 在 各 种 范 数 下 的 收 MAS 
价 的 ， 因 此 以 后 在 谈 到 它们 的 收敛 时 ， 就 不 再 特别 声明 在 何 种 范 
数 意义 下 的 收敛 。 例 如 ， 若 {A}?. CC, RNS 


lim A‘? = Alo, 
Di BB AE A SE BP SS BF FE Be > 1 有 
lim] A _ AW] =0. 
下 面 我 们 过 论 由 向 量 范 数 诱 导出 的 矩阵 范 数 ， 这 类 短 阵 范 数 


是 矩阵 分 析 中 一 类 十 分 重要 的 范 数 。 
定理 5.4 设 | * 1 是 C" 上 的 一 个 向 量 范 数 。 则 由 


I A fil = max [Ax], AEC" (3.11) 


Pi we SOAS SAB Be I + HN AE C"*" EWG —- 7 EERE. 
证 明 首先 ， 由 范 数 等 价 定理 知 ， 点 集 
(EC: |x] = 1 


Æ C' PHSR AE, WH E C” 上 的 连续 函数 ， 因 此 ， 由 
(3.11) Bra SCA Il + i BARR. 
其 次 ， 从 (3.11) Be, HEREC, r50, A 


a Mals” Ally 
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从 而 有 
LAXIS IANI vxeC’, (3.12) 


下 面 证 明川。 省 满足 定 义 3.2 的 四 条 . 
G) 设 AEC"” ”*，A 志 0。 则 必 有 非 零 向 量 xEC"， 使 Ax 
关 0，。 从 而 由 向 量 范 数 的 正定 性 和 (3.12) 有 


O< |] Ax] <I] AN |<]. (3.13) 
Talxt>0, BAILA ll > oO, Bi - I WEEZE. 
(2) fFR GEC, ACC", F 
aA fl = max faAx| = |a] max [Ax] = [al fl All, 
BM Ul > Tl ee PE. | 
(3) ÆR A, BEC". xec 满足 
xf=1 mt [A+ Bx] = A+B]. 
WY C3. 12) Ff E yo BE By IE A 
IA +B ill = (A+ Bx] <<] Ax] + [Bx] 
<A x+ tleildet= All + Wael, 
HY fil < 1 eA tE. 
(4) ÆR A,BEC’**. 设 xEC" 满足 
[Ixf=1 和 [ABX] = I ABI]. 
则 由 (3.12》 有 
| AB Ill = {ABx]< MA Ti [Bx 
< UAW U Bu Tel = All Weal, 
BD Rl = I ee RAE. 
定义 3.3 设 |， jj 是 C” 上 的 一 个 向 量 范 数 ,由 (3.,11) 所 定 
SAS FERS ER I< I RPE C EBI. [RSH RFR CA 
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PATER) ， 有 时 亦 称 作 从 属于 向 量 范 数 1 .| 的 矩阵 范 数 ， 
对 C* 上 的 P 范 数 ， 根 据 定理 3.4, 可 以 得 到 C" 上 的 算 子 
范 数 Il ° fl Pt 


中 All =, max Axla» AEC"*’, (3.14) 
z #71 
Web I<p<oo, HF P=1,2,coH MIVA Il + We, 有 如 下 的 表示 


定理 。 
定理 3.5 ik A=([e,,JEC***. MA 


(1) IPAM: = max Xoja] AFRO, 
(2) |All.= max Dolo,  《〈 行 和 范 数 )， 
(3) IAll2=o CHE BO, 


其 中 o, 表示 4 的 最 大 奇异 值 ， 

这 一 定理 的 证 明 留 作 练习 请 读者 自己 给 出 。 | 
由 定理 3.5 可 知 ， 焦 降 的 列 和 范 数 和 行 和 范 数 很 容易 由 矩阵 
的 元 素 直 接 算出 ， 但 矩阵 的 谱 范 数 需 要 求 4 的 最 大 奇异 值 ， 而 这 
并 非 易 事 ， 因 而 4 的 谱 范 数 很 少 用 于 实际 计算 。 可 是 ， 由 于 谱 范 
数 有 许多 良好 的 性 质 ， 因 此 在 理论 研究 中 使 用 起 来 特别 方便 。 下 
述 定理 列举 了 谱 范 数 的 几 条 常用 的 性 质 ， 

定理 5.6 ACEC”. W 

(1) MANs= max  |y*Ax], 


IT] = IY] 2=1 

C2) il A* Ha = I ATII a= IlAlle, 

(3) A*A = WATE. 

(4) ARISI AN IAI es 

《5) IUAV i= I Atl VU,VE Zn. 
证 明 留 作 练习 。 l 
注 5.5 .上 面 讨论 中 ， 为 了 不 致 引 起 混淆 ， 我 们 将 算 子 范 数 
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DD 


fa 


记 作 骨 。， 甘 。 而 以 后 为 了 书写 简单 起 见 ， 我 们 亦 将 算 子 范 数 简 记 
Aye ls E3 WF ERR SAMAR EK il + ile, 简 记 为 
I + Ip. | 

23.4 这 里 为 了 叙述 上 的 简便 ， 仅 对 方 阵 的 范 数 进行 了 讨 
论 ， 而 所 得 到 的 大 部 分 结论 都 可 照搬 到 非 方 阵 的 情形 (此 时 ， 在 
矩阵 范 数 的 定义 中 就 不 能 再 要 求 满足 CiV))。 例如 (3.14) 所 定义 
的 算 子 范 数 ， 对 ACC” 亦 成 立 , 且 相应 的 定 理 3.5 亦 真 , 并 有 


[ABlp<lAlplBls, ISPs, 
对 任意 的 AE C"*"* 和 BE C"*' 成 立 。 


3.3 VEE ARBRE SIA QTE 
定义 5.4 设 ACC”, WER 
PĖ(A)=max{|A]: AGACA)} . (3.15) 
A AH THESE 42. 
TEA Ae ERM Aa PRA. 
定理 3.7 ACC", MA: 
C1) HC” EM H— SRR |, 有 


PADS IA]; 
(2) 对 于 任 给 的 e>0, FE C EWART 范 数 | [, 使 


得 
ijAl<P(CA +E. 
证 明 (1) ik XE C* 满足 
x-=0, Ax= Ax, JA] = PCA); 
则 有 | 
PCA) lxeil= jaxe] = JAxeT I< [A eT I, 


从 而 有 
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PCAI<IA]. 
(2) Hy Schur 分 解 定理 知 ， 存 在 UE Yan, WEI 
U*AU=A+T, 


其 中 A =diag(A,,-+,An), T=(t, JE RD L= A Be 
任 给 6>0, 4 


Ds = diag (1,6,6°, eee 6" 1), 
则 
D;1U*AUD,=A+tD;'TD, 


J 0 053 8 Eg see S” Ein | 
0 0 bt +e 6 ?fon | 
=A+ 


oo 0 tan 
0 0 0 eos 0 _ 


现 对 给 定 的 s 盖 0， 取 定 S>, 使 
S pint, l<e, 7 =2,3," ,71, 
并 定义 
IG = [Ds'U*GUD, lhis YGEc"™", 
则 易 证 这 样 定 义 的 函数 | + 1 是 如 下 定义 的 向 量 范 数 
lx lvo, = UD,) "x |i, xE C” 

诱导 出 的 算 子 范 数 ， 且 有 

141= ID; 'U*AU De hS |All + [D3 TDs hSecAd +e, 

定理 3.8 jk ASC”. W 


lim Ak = 0€>P(A)<1, 


. 对 于 


证 明 ”必要 性 设 lim A*=0, 并 假定 4EX4(4) 满 足 PC4) 


19 


= [41。 由 于 对 任意 的 有 ACACA), Bene 3.7 有 
PCA)* = [ALEK PCABI< IAF fp 
”对 一 切 的 天 成 立 ， 从 而 lim P(A)*=0， 因此 必 有 A<. | 
充分 性 WADI 则 由 定理 3.7 知 ， 必 有 算 子 范 数 j l, 
使 得 1A1 二 1， 从 而 | 
0< [A*S [A [F->0, ko, 
于 是 lim 4* = 0， 证 毕 。 
利用 定理 3.8 容易 证 明 下 述 重要 的 定理 。 
,定理 3.9 BAEC". WA: 


(1) DA 收敛 的 充分 必要 条 件 是 PCA) <I 
k=0 
(9) STAN ec, A 
k=0 


SAF = (I-A); 
k=0 
而 且 存 在 C ”上 的 算 子 范 数 和 1， 使 得 


[7+ 


|a- a7- Za [< JAP 


I A R m R. 
证 明 留 作 练习 。 
定理 3.10 Z Acc", I. fe C"*" 上 的 任 一 矩阵 范 数 ， 


则 
lim] A* = PCA). 
证 明 首先 由 PC A*)<]A* F PCA*®) = OC A)D* 可 得 
| CASIA E, k=l, 2,00, (3.16) 
”其 次 ， 对 任 给 的 e>0, + P 
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a l 
PCA) +E 


则 PCB,)<1, 于 是 有 lim BE=0, Abt, BEER, 1E 35 k>k, 
it, Æ 


B, 


[Bel<1, 
Bp 
| [A*[<CecA) + err, (3.17) 


由 (3.16) 和 3.17) 知 ， 对 任 给 的 2: 二 0， 已 找到 了 ko tE kok, 
了 时， 有 l 
PCADS JAF | '*<ecaA) +E, 


从 而 
lim | AF |5 =P{A). 
ke +00 


$4 正 交 投影 和 子 空间 之 间 的 距离 


4.1 正 交 投 影 


定义 4.1 Hec 是 一 个 子 空间 ， 如果 PEC"** 满足 : 

(1) @(P)=2, 

(2) P?=P, 

(3) P*=P, 
别称 已 是 映射 到 多 上 的 正 交 投影 。 

从 定义 可 知 ， 正 交 投 影 是 一 个 Hermite AARE; 对 任意 的 
LEC”, APE, UI-P)x€ H's; QU- PERIA 名 上 上 的 
下 区 投影 。 

例 4.1 vec", fe l,=1. Rl P=vv* 是 映射 到 = span{v} 
上 的 正 交 投影 ， 其 几何 意义 如 图 4.1 所 示 。 

定理 4.1 对 于 任意 的 子 空间 多 CC ， 在 C| 中 有 且 仅 有 
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span{v} 


图 4.1 

一 个 映射 到 多 上 的 正 交 投影 。 

JERR Aih Ee = gO), 其 中 VEC"”*! 满足 V*V= 
TI， 即 V 的 列 构成 多 的 一 组 标准 正 交 基 . 令 

i P=VV*, (4.1) 

则 容易 验证 已 是 映射 到 多 上 的 正 交 投影 。 

唯一 性 ” 设 Pi 也 是 映射 到 人 上 的 正 交 投影 。 则 对 任意 的 x 
EC", & 

TPx— Pix 2 = (Px)*CU - Pi)x + (Pix) *U — Pox =0, 
从 而 P= Pi. iE. 

鉴于 定理 4.1， 对 于 给 定 的 子 空间 和 多 ， 通 常用 Pz 来 表示 映 
射 到 它 上 的 唯一 的 正 交 投影 。 此 外 ， 尽 管 对 一 个 子 空间 来 说 ， 它 
的 标准 正 交 基 是 不 唯一 的 ， 但 按 (4.1) 定 义 的 第 阵 却 是 唯一 的 ,与 
正 交 基 的 选取 无 关 。 


4,2 子 空间 之 间 的 距离 

借助 于 子 空间 和 映射 到 它 上 的 正 交 投影 之 间 的 一 一 对 应 关 
系 ， 我 们 能 够 给 出 子 空间 之 间 的 距离 的 概念 。 

假设 名 和 多 是 C* 中 的 两 个 同 维 数 的 子 空间 .我 们 定义 这 两 
个 子 空间 之 间 的 距离 为 

dist(#, ¥)=||P2-Pyie, (4.2) 

其 中 Pr 和 Py 分 别 是 映射 到 多 和 .多 上 的 正 交 投影 。 

4.1 如果 我 们 记 G? 为 C” 中 所 有 ATZAR 全 体 ， 
则 按 (4.2) 所 定义 的 实 值 函数 dist(。,。) 是 GT EAER WE 
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满足 : 

(1) dist(2,W)>0, 而 dtz, y) = 0< 拓 >2 = 

(2) dist( 2,94) = dist(2 F ); 

(3) dist, y) Kdi, Z) +d, Y), 
Aher, yes G 中 的 任意 点 。 

下 面 我 们 给 出 (4.2) 所 定义 的 子 空间 之 间 的 距离 的 几何 解释 ， 

为 了 简单 起 见 ， 我 们 先 考虑 二 维 实 空 间 R 中 的 两 个 一 维 子 
2S la] 2 =span{x} 和 .多 = span{fy} (〈 即 两 条 过 原点 的 直线 ) 之 间 的 
距离 。 此 时 ， 假 设 它们 之 间 的 夹 角 为 0(0 志 6 志 x/2), : 则 通过 简 
单 的 演算 可 证 
dist(#, ¥) = sin 9, 


即 按 (4， EBERT LIER LARA 直线 之 
闻 夹 角 的 正 续 ( 参 见 图 4.2) 


span{r) 


sing span{y} 


图 4.2 

对 于 一 般 情形 ,也 有 类 似 的 几何 解释 . 为 此 , 先 利用 奇异 信 分 

解 证 明 一 条 关于 分 块 西 和 矩阵 的 分 解 定理 ， 即 所 谓 的 C-S 分 解 定理 . 
- 定理 4.2 〈C-S 分 解 定 理 ) RAER DRA 


=| Qir Qr 
Qe: Qz 
k j 


则 存在 西 和 矩阵 U = diag(U1,U2) 和 V= diag (Vi, Va), 使 得 
j j 


k ， 
| 。 k<j. 
J 


k 
U*QV = | to, (4.3) 


C S 0 
-5 C 0 
0 0 了 

k k j-k | 
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， 共 中 

C = diag(c,,++,¢,), C; =cosd;, 

S= diag(s,,*,5,), S; =sind,, 
t/2>0,>0,>-»>0,>0. 

证 明 分 四 步 证 之 。 

(1) 对 Qu 应 用 奇异 值 分 解 定理 知 ， 存 在 Uli, ViE2ik。 使 
得 

UiQuVi=C, (4.4) 


其 中 C = diag(ci… 和 cr)， 0 雪 c er, 由 于 QQ 是 西 和 矩阵 ， 故 
必 有 cx 委 1。 为 下 面 的 讨论 明确 起 见 ， 现 假定 中 有 个 小 于 
1, Hp 

ONC Roe Oy epg HC pager =e al, OSH, 


W Cı = diag(c,,*+,¢;). 
(2) 存在 0V，,V2€ 2 5, 使 得 
— 


0 
k 


k 
O30.Vi=| O |. , UtQuVe=[8, 0.78 , 
. j -k k j-k 


其 中 S= diag(si, e, Sp), s,s, 50, si+c?=1, 
从 QQ 是 酉 矩阵 的 假定 和 (4.4)， 可 得 
_ Quy. \*s' Qu L 2 tne | 
ro v) (om + ViQ21Q¢V 1, 


从 而 有 
ViQiQnVi= I~ C= diag- Ci, .0 , de (4.5) 


EX, OuV. 的 前 工 列 互相 正 交 ， 后 大- ! 列 为 零 ， 即 Ov, 
有 如 下 形式 : | 
| Qnvi=[W, 0 b W*W=I-Ci. (4.6) 
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4s, = V1—¢?,i= 1,2, *¢,K, ill S$) open SS, Spe == eee =s,=0, 


再 令 Si = diag(si,** ,31), S=diag(Si, 0 ,> Us = -WS1i', 则 


由 (4.6) 知 性 = 了 取 Üc Cixi, 使 O,= [01,0 2)€ 
Yi, WA | 
oe Ot, -5i 0 i -Jk 
U3QaV =| |Ew,0 =| | =| | . 。 
2Qa1 1 Ut, ] 0 0 > 0433 一 k 
- i k-l 
同 理 可 证 存在 V2€ 2 ;， 使 得 
U*QisVs=[S, 0]. 
(3) 40 = diag(U1,0,), V=diag(V.,V2), X=0*OV. W 


由 前 面 所 证 知 X 具有 如 下 的 分 块 形式 : 
0 


0 1 0 0 0 k-i 
x= 一 SI 0 Xss Xau X35 l . 

0 O Xs Xu Xs k-i 

L 0 0 Xss Xsa Xss jij-E 


l k-i 1 k-l j-k 
7ERBIX GORE ABM. SBMA ALE RH ARE, ket 
X*X = 了 的 两 边 可 知 ，Xass = C1, X 34s Xass Xaa 和 X 53 Be Ay FB 


阵 ， 而 且 


X Xas 
| x" Xss 
Fz PS ERE. 
(4) id 
xX X 
uae | Ae e 
则 有 
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T co Ss 0 0 

; 0 1 0 0 0 
diag(/,.,;,U%) X=-' -S, 0 C, 0 0 |. 

| 0 0 0 Z 0 | 

' 0 0 0 O 7 


所 以 令 
U,=Updiag (FUaa)， 


则 diagCUi,U2)Qdiag(V1,V2) 具 有 所 要 求 的 形式 . 证 毕 。 
利用 C-S 分 解 定理 可 证 

BAL PHA), = 多 (Yi)， 其 中 入 1,Y1E 

CTF, XIX =Y Y, =T。 则 


dist( 2, Y= (1- O min XYD, 


其 中 cmin(XY YU 表示 XIV Mae ay Re. 

证 明 W X,Y ECO ec， 使 区 =[XXs YY=LYb 
Ys]E gn。 无 妨 假 定 k<n-k， BM BBX =X. KIM = 
[YsyY1J 即 可 。 对 酉 矩阵 

| XY, XY: | 
X*Y = 
XZY: X3Y, 
| k n-k 
应 用 C-S 分 解 定理 可 知 ， 存 在 Ul,V1.E Ye MUVE Yng 使 
得 


n-k 


UCX*Y DV =C, 
UICX YV2=[ 8,0], 
+ -5 
P| | 
i 0 
其 中 
S=diag(Sli，…35)， s,=sinO; (1=1,2,+%,k), 
C = diag(¢c,,+*,C;,), c; =to0osf;, (i1= 1,2,.,k), 
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1/2220, 20, > +9 0, 0. 
于 是 
dist( Z, ¥)= ||Pe-Pyle2=|XiX1-YiY ihe 
= |X"*— xX xXt-YiYiTIY lle 
0 x’?Y, 1 
sy o jh 
= max{Omax (XIY2), Cmax XYD) 


= Si, 
但 s?=1-c?9=1-o?ma(X*+Y;)， 因 此 定理 得 证 。 

MERA EMA Tle ft y dime =dim y =!)， 我 
们 来 看 ditz, 9 ) 的 几何 意义 。 从 定理 4.3 的 证 明 易 知 ， 存 在 
PA _Y BS Br AE TE 38 BE JAH’ ty Es 


OKT Y Xp yg TY > (4.7) 
xi¥;=0, EJP (4.8) 


记 9, 为 直线 span{x; } 与 spaniy,} 之 间 夹 角 , 即 9; = are cosxyyi， 
则 有 

1/20, Oe SO, 
而 且 从 定理 4.3 的 证 明 亦 可 看 出 ， 这 样 得 到 的 ! 个 角度 O,, 0, 
0, 与 色 和 多 之 满足 (4.7) 和 (4.8) 的 基 的 选择 无关， 由 多 和 
唯一 确定 。 因 而 我 们 可 以 称 这 些 角 的 最 大 者 9 为 子 空间 多 与 
_.Y 之 间 的 夹 角 。 这 样 ,定理 4.3 就 是 说 2 和 .多 之 间 的 距离 dist(.2， 
.多 ) 正 好 是 它们 之 间 夹 角 的 正弦 ， 即 

dist( 2, ¥) =sin§,, 
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5.1 基本 概念 和 性 质 
定义 5.1 设 A=[a;;]ER"””"。 MRe; ;>0 (或 ai 全 0) 
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对 所 有 的 i,7 成 立 ， 则 称 A 是 非 负 (或 正 ) E, E 4 之 0 (或 
A>0). 

设 4, BER"*"*。 如果 A- B20 (或 4- 了 B>0)， 则 记 作 4 之 
B (CX 4>B)。 对 于 任意 给 定 的 4=[a; 站 EC7 BR AA 
来 表示 4 的 元 素 取 绝对 值 之 后 所 得 到 的 非 负 和 矩阵 ， 即 |4i = 
Cla; ;lls ee, 24 x= Cai, "e, an) TEC” 时 ， Ixf=cClaf,-r, 
lan|>7. 

定理 5.] 〈 谱 半径 的 单调 性 ) ik ACC", BER""", 如 
果 141 委 B， 则 PCAD<PC(B). 

证 明 ”车 不 然 , 则 有 PCAP). A r= (P(A) + P(B))/2; 
则 PCA)>r>e(B); 再 令 A=A/r, B=B/t, 则 P(4)= 
PCAD/T>1, PCB) =2(B)/r<l, TÆ He 3.8 知 ， limB* = 0 
而 |A| 过 B RAKIA S ALB 对 一 切 的 自然 数 戌 立 ， 从 
而 有 lim A® = 0。 再 应 用 定理 3.8 4 epCAD<1, k eC DLF 
ig. Hit, 有 PCA) 过 p(B) 成 立 

”定义 5.2 设 AeER"*"。 营 存在 n 阶 排列 方 阵 P， 合 得 


papr=| Au Au | (5.1) 
0 Ax 
其 中 An 和 42* 是 两 个 低 阶 方 阵 ， 则 称 A 是 可 分 的 (或 可 约 的 )， 
否则 称 作 不 可 分 的 〈 或 不 可 约 的 )。 

可 分 的 概念 来 源 于 线性 方程 组 的 求解 问题 。 一 个 线性 方程 组 
的 系数 算 阵 是 可 分 的 ， 表 明 这 一 方程 组 ， 可 通过 适当 调整 方程 和 
未 知 数 的 次 序 ， 化 为 两 个 低 阶 的 方程 组 来 求解 . 

定理 5.2 AER” 是非 负 的 。 则 4 不 可 分 的 充 分 必要 
条 件 是 

+A)" 7>0, (5.2) 


证 明 ”必要 性 假设 A 是 不 可 分 的 。 欲 证 (5.2) 成 立 只 需 
证 
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(I +A)" e; >0, t= 1,2,7 (5.3) 


成 立即 可 。 
MELER”, x20, «XO. Ox =%, Rabe X 
Xp SFU A)R’ K=0,1,… 7 一 2。 


用 mx 记 x, PIES RD RTSO GAA ml, H memg, 
k=0,1,*…n 一 2。 这 样 欲 证 (5.3) 成 立 ， 只 和 需 证 mn_1=n 即 可 。 

如 车 maa <n, MUEEN k, E m, = main. 于 是 
必 存 在 一 个 排列 方 了 泗 P， 使 得 


u v 
PXp4 1 0 + Px, = | 0 3 (5.4) 
Hp uve R”k, Hurd, v>0. M Xg = Xp + Ax, 可 得 
Px = Px + PAP'Px,. . (5.5) 
对 PAPT 作 分 块 如 下 : 
Au A 
PAPT= | " ae . (5.6) 
Az Ag2tn-m;, 
my, 大 一 my, 


E05. ANG. OFEACS.5), FFE RBlu> 0, v>0, Bal HEM An 
=0。 这 与 4 不 可 分 的 假定 矛盾 。 所 以 mn-;= 7 成立 ， 耐 这 里 的 x 
是 任 取 的 ， 故 (5.3) 成 立 。 | 

充分 性 ”车 4 是 可 分 的 ， 即 存在 排列 方 阵 PP， 使 得 


PAPT = in Ae] 
0 Agel’ 


其 中 An 和 A 是 低 阶 方 阵 ， 从 而 有 


Auti Ais i 


PU +A)" PT = | 
0 Az +I 


= [Aner * ] 
0 (Ao +I)" , 
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这 就 是 说 (I + A he BAS. Ai, FG + 4) >0, W 
4 必 是 不 可 分 的 。 


5.2 Perron-Frobentus 定理 


定理 5.5(Perron-Frobenius 定理 ) 设 AE R"*"* 是 一 个 非 负 
不 可 分 矩阵 。 则 

(1) p(4) 盖 0， 而 且 是 4 的 一 个 单 特征 值 ; 

(2) 对 应 于 PCA) 的 特征 向 量 可 取 作 正 的 ， 即 存在 ER, E 
x>0， 使 4Ax= PCA); 

(3) 不 存在 属于 其 他 特征 值 的 非 负 特征 向 量 ， 

先 证 几 个 引 理 。 

引 理 5.1 设 A€ER"*" 是 一 个 非 负 矩阵，zE€ R" 是 一 个 不 为 
SHER. JERE CRIBB Az> fz, Wl PCA) 二 

证 明 不妨 设 i 宇 0。 到 2 汪 0 满 足 


AZ>(E +8)z. (5.7) 
& B= A/(E +E)， 则 从 (5.7) 易 得 
BEz BE z> ee >z (5.8) 


对 一 切 的 自然 数 成 立 。 由 z 宇 0 且 z0, MO5.8) 4, 14 k> 
时 ，B* 不 趋向 于 零 ， 从 而 ， 据 定理 3.8， 必 有 2(B8) 宇 1， 即 


P(A) Se +Ee>€, 
引 理 5.2 设 vjEC, @,ER, @;>0, 7=1,2,0e,m, M 


Janis Dlh (5.9) 
j= J= 
且 等 号 成 立 的 充分 必要 条 件 是 存 在 7EC 满足 19| = 1， 使 得 
Nu; 20, 7=1,2,°,m, (5.10) 


By Us" s lm 位 于 同一 条 从 原点 出 发 的 射线 上 。 
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证 明 ”只 对 等 号 成 立 的 必要 条 件 加 以 证 明 。 
M4 m=2Rt, 记 vj=?je i, 770, OM0;<2e, 7=1,2._ 
此 时 ，(5.9) 等 号 成 立 ， 即 
Jare” 1 tare 2} = afi tafa, 
由 此 可 得 cos(6 ~ 0,) = 1， 从 而 有 6 = 0e Hl m= 2 时 命题 成 立 。 
现 假定 命题 对 和 = 天 -1 成 立 ， 我 们 来 券 虚 由 = 天 的 情形 .。 假 
定 有 


k k 
Sappl = Dalel 
了 = 1 gel 

k-1 

成 立 。 令 v= Dap WERASA: 
4=1 
[v+a,v,] = [|v] +a,]o,], €5.11) 

k-1 k-1 . 
017 = 之 ,ojlor|。 《5.12) 
je joi 


由 m= 2 所 证 的 结果 和 归纳 法 假定 知 ， 存 在 0<90<2x FO P< az, 
使 


elfy>0, elf v >0, (5.13) 
e'?yv ,>0, 7 = 1 2 天 一 】。 (5.14) 
SACS. 14) AY 
k-1 
ely = Setry, » aj 50, (5.15) 
gel 


MOL pan, BO5.1D AMO. IDBWeAe=0, Aiea m= 
k 亦 成 立 。 由 归纳 法 原理 知 ， 命 题 对 一 切 的 自然 数 mn AY. 
”35| 理 5.35 RA=[0;;]ER””", HA>0. $ u= (uy, +, un)" 
EC", ux0, WE 
Au= ju, |Al= PCA), (5.16) 


WA A=PCA)>0, [ul] >OM Alul = PCA) [ul Row. 
31 


TERR 先 证 对 满足 (5.16) 的 4 ， 必 存在 单位 复 数 7( 即 17| = 
1), A 
nu >00, 1=1,2," 1, (5.17) 


若 (5.17) 不 真 ， 则 由 引 理 5.2 知 ， 必 有 
[aug] = | Dans < eklu; 
了 = 上 gel 


Xt — BAKE {1 925°} RIL, Bl Ay 
[A\jul<Ajul. (5.18) 


于 是 ， 根 据 引 理 5.1， 应 有 PCA Al, 2K 与 P(A)= 14| 的 假定 
矛盾 ， 从 而 (5.17) 成 立 。 
从 (5.17) 成 立 ， 可 知 


jul =u, 
”因此 ，jaj 也 是 属于 4 的 一 个 特征 向 量 ， 即 
Ajul=Alul. (5.19) 


由 于 4>0 fi us0, £6. 1DRA A 4 二 0 lu] >0, F 是 引 理 
得 证 ， 

推论 5.1 HEACR™", HA>o. Ni 

(1) PCA) 是 4 的 正 特 征 值 ; 

(2) p(4) 的 几何 重 数 是 1， 且 对 应 的 特征 问 量 可 取 作 正 同 
Es 

(3) AERA ACACAD, HANPCA), BH|AL<PCA), 

证 明 除 2(4) 的 几何 重 数 为 1 之 外 ， 推 论 的 其 他 结论 都 已 
包含 在 引 理 5.3 之 中 。 因 此 ， 下 面 只 证 P(A4) 的 几何 重 数 为 1， 

METR, ME C 中 必 存 在 两 个 线性 无 关 的 向 量 u 和 vv， 
使 得 r . 
Au=p(Au,  Av= PCA)», 


32 


由 于 u0， 故 至 少 存在 一 个 非 零 分 量 , 不 妨 设 它 的 第 i 个 分 量 
u,=0. & 
z= 0 

其 中 v ;表示 v 的 第 i 个 分 量 ， 则 z 是 一 个 至 少 有 一 个 分 量 为 零 的 
碟 零 向 量 APR (4) 的 特征 向 量 。 隆 是 ,由 引 理 5.3 知 ， 
应 有 |z| 盖 0， 而 这 又 与 有 一 个 分 量 为 老 了 矛盾 ， 从 而 P(A4) 的 几 
何 重 数 是 1、 

引 理 5.4 RAEC”, ACACA). MIJAT A PJA EERE 
分 必要 条 件 是 : 

(1) rank(A 一 47)=n-1， 即 4 的 几何 重 数 是 1; 

(D 属于 4 的 左右 特征 向 量 " F u 满足 ”us0。 | 

证 明 ”由 于 特征 值 的 几何 重 数 、 代 数 重 数 以 及 条 件 (2) 中 所 
述 的 左右 特征 向 量 所 满足 的 条 件 都 在 相似 变换 下 保持 不 变 ， 因 
此 ， 不 失 一 般 性 ， 可 假定 A 是 Jordan 标 准 形 ， 且 对 应 于 4 的 Jordan 
块 排 在 首位 。 此 时 ， 定 理 的 必要 性 是 显然 的 。 因此， 下 面 只 证 充 
分 性 。 

由 4 的 儿 何 重 数 为 1 ， 因 此 4 具有 如 下 形状 


4= 四 F 
0 f,4 
其 中 J, PART AH Jordan H, mi 
A 1 0 
A 
/i= 
1 
0 A 


是 属于 4 的 m xm 的 Jordan 块 这样 , 欲 证 4 的 代数 重 数 是 1 ,只 需 
证 m= 1 即 可 。 如 若 不 然 ， 则 em 和 61 分 别 是 4 属于 4 的 左右 特征 向 
&, 而 且 m>1, 从 而 ene1= 0, 这 与 条 件 (2)? 了 矛盾 。 因此 m=1, 
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即 4 的 代数 重 数 是 1 。 
定理 5.3 的 证 明 分 三 步 来 证 明 。 
d) 先 证 ， 堵 xEC?"，xs 关 0， 满 足 
AX = AxX, la| = P(A), (5.20) 
则 必 有 |x| 汪 0， 而 且 
A{x[=PCA)[x[. | (5.21) 


如 果 (5.21) 得 证 ， 则 定理 5.3 的 (2) 得 证 ， 且 有 P(A)~O. 
从 (5,20) 可 得 


| PCA) |x| = lA] |x| <Alx]. (5.22) 
从 (5.22) 出 发 ， 归 纳 地 可 证 
PCA)® |x| <A¥ |x| (5.23) 
对 一 切 的 自然 数 k 成 立 。 于 是 有 
(1+P(4)) "|x| SCP +A) "I x], (5.24) . 


由 4 是 非 负 不 可 分 的 ， 故 从 定理 5.2 知 ，(4 41)" 0 Hmi 
(1+A™" '>0. BAS. IFU +A" 上， 可 知 存在 y 全 0， 
使 得 

YTA) =P +A) DOT. (5.25) 
4£(5.24) Ase y™, FERC AACS.25), 7 
C14 P€A))™ lyT x] PC + AD™ YT x1, (5.26) 


my’ |x|>0, RA 
(1 +PC(A))" SZPI +A)" De (5.27) 
另 一 方面 由 谱 映 照 定理 知 ， 必 存在 4E ACA), E 
PEGEA) U D= (G+)? (5.28) 


将 (5.28) 代 入 (5.27) FETE RSI RE PE, Hh 
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1+PCA)< [1 +H] 2214+ [4 <1+PCA). 


XH, w= [ul = PCA)， 从 而 (5.27)， 进 而 (5.24) 的 等 号 必须 
成 立 ， 即 
C1+PCAD™ |x] = C+ A TIX], (5.29) 


HU +A)" '>0, Hlx|2<0, 105.2928 & 4 lx|>0. weep, M 
(5.29) 和 (5,23) 可 知 ， 必 有 
Alx|= P(A)Ix|, 

即 (5.21) 成 立 。 

《2) 再 证 ， PCA) AEA HS ARTES. 

由 (1) 所 证 知 ， 对 属于 04) 的 任意 特征 向 量 x , HA |u| 0, 
因此 ， 完 全 类 似 于 推论 5.1 的 证 明 ， 可 证 PC4) 的 几何 重 数 是 1 。 

另外 ， 对 4 和 AT 应 用 (1) 所 证 ， 知 属于 P(4) 的 左右 特征 向 量 
v 和 2 可 取 作 正 的 ， 因 而 有 2 u>0;， 于 是 ， 据 引 理 5.4， 知 PCA) 
是 4 的 单 特 征 值 . 

(3) 最 后 证 : 不 存在 属于 其 他 特征 值 的 非 负 特征 向 量 . 

反 证 。 如 车 不 然 ， 则 存在 不 为 零 的 韭 负 向 量 z 满足 


AZ= AZ, A= PCA). (5.30) 
另 一 方面 ， 从 (1) 所 证 知 ， 存 在 4 二 0， 使 得 | 
uTA = pC(A)ul, (5.31) 


在 (5.30) 两 边 左 乘 4"， 并 注意 到 (5.31)， 可 得 
P(A)uTz = AuTz, 
但 uwTz 汪 0， 故 有 PCA)=4， 这 与 4 六 PCA) 的 假定 矛盾， 从 而 (3) 
得 证 ， 
5.3 JERR AD TE 
由 推论 5.1 知 ， 正 矩阵 4 的 模 为 2(A) 的 特征 值 是 唯一 的 ， 而 
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非 负 不 可 分 和 矩阵 则 不 然 ， 疯 看 一 个 简章 的 例子 。 
例 5.1 设 


© 
© 
m 
> 


A= : : ES ES ER”. 


DO 
jon) 
ps 


Q 0 


则 可 证 是 非 负 不 可 分 的 ， 它 的 个 特征 仿 


zjx 


Aj =e ma, 7=0,1,°°,n—-1, 


从 而 它 的 特征 值 的 模 都 等 于 谱 半 径 CAD = 1 

定理 5.4 设 4 是 n 阶 非 负 不 可 分 矩阵 , 疡 是 4 的 模 等 于 p(A4) 
的 不 同 特征 值 的 个 数 。 则 

G) A 和 的 模 为 pCA) 的 个 特征 值 是 

Aga PC4)e ®, 1=0, I,e,4-1, 

也 就 是 说 ， 它 们 “均匀 ”地 分 布 在 以 原点 为 圆心 , P(4 为 半径 的 
AEs 

D 4 的 特征 多 项 式 具 有 如 下 形状 ; 

pct) = tth — pC AAI — 8 PCA)” ool th 6.P(A):], 
fith rhamen, Hr Sih, OS [ss <l, 1=2,--,r3 BUBB 
为 (A) 的 特征 值 外 ，A4 的 其 余 非 零 特征 值 亦 可 分 为 若干 组 , 使 得 
每 组 正好 有 A 的 h 个 模 相 等 的 特征 值 ， 且 它们 “均匀 ”地 分 布 在 
某 一 圆心 在 原点 半径 小 于 OCA ASAE. 

这 一 -定理 的 证 明 较 繁 ， 由 于 篇 幅 所 限 ， 这 里 不 再 给 出 ， Ave 
趣 的 读者 可 参看 文献 [69] 

55.2 设 


36 


im > 2 5 
-~ mm Oo 
O O m m 
O 2 = & 


则 和 是 非 负 不 可 分 的 ， 它 的 特征 值 息 
1=+twI+w2， = +ivw2- 工 
其 特征 值 的 分 布 情况 如 图 5. 1 Bras. 


图 5.1 黑 点 表示 特征 值 所 在 位 置 
从 可 分 的 定义 5.2， 容 易 证 明 
定理 5.5 设 4 是 一 个 壮 阶 非 负 和 矩阵 ， 则 存在 一 个 排列 方 阵 


P, ił 
An An e Aik 
An oA 
PAP’ = ”| (5.32) 
0 . æ 
Akk 


其 中 A;;(1= 1,2,"…,k) 是 非 负 不 可 分 方 阵 。 
结合 定理 5.3 一 5.5， 可 得 
推论 5.2 设 4A 是 一 个 n 阶 非 负 和 矩阵 。 则 
CL) PC4) 是 4 的 特征 值 ， 且 属于 2(4) 的 特征 向 量 可 取 作 非 
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负 的 ， 即 在 在 不 为 零 的 非 负 向 量 x ， 使 得 Ax = PCA) 
(2) 4 的 特征 值 可 分 成 若干 组 ， 每 组 中 的 特征 值 模 都 相等 ， 
im A. “均匀 ”地 分 布 在 以 原点 为 心 的 某 一 圆周 上 # 
(3) 车 A 有 一 个 正 的 特征 向 量 x ， 则 zx HE 属于 p(4) 的 特 
征 向 量 . 


5.4 Birkhoff 定理 
定义 5.5 . 设 A= [a;jy]ER"*"*。 如 果 有 4 满足 


a; 67220, Sa j= Seah 1,j=1,2,% 


则 称 4 是 双 随 机 阵 。 

:从 上 述 定 义 易 知 ， 若 4 是 双 随 机 阵 ， 则 P(4) = 1， 而 且 对 应 
的 正 特 征 向 量 可 取 作 e= G1,1,…,1)T。 此 外 ， 任 一 排列 方 阵 必 是 
双 随 机 阵 ; 反之 ， ARBE LE ETE 与 必要 条 件 是 
ERA n 个 非 零 元 素 。 ax 

定理 5.6(Birkhoff 定理 ) 所 有 7 阶 汉 随机 阵 的 集合 是 所 有 n 
阶 排 列 方 阵 的 凸 包 : 即 任 一 n 阶 双 随 机 阵 4= Ca, 51, 必 可 表示 成 
n BT REX REP (C= 1,2,… ,nl) 的 凸 组 合 : 

A= Sosp,, > -1， 0 之 0， i=], 

证 明 W ARISES ICA AA CA AREA. 显然 有 
VIAJEN. 

HAO =2 时 ，4 就 是 排列 方 阵 ， 因 而 定理 对 vCA) =n 的 情 
形 自 然 成 立 。 

BUR EY CA) >, 而且 假定 对 于 满足 v(B) << CA) AY LSE 
下 已 证 定理 成 立 。 

由 于 4)>n， 故 4 至 少 有 一 行 含有 两 个 以 上 的 非 堆 元 素 ， 
太 而 必 存 在 指标 i 和 间 ， 使 得 9<<a; ,1 ,二 1 于 是 在 第 广 列 必 然 有 
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另 一 个 非 零 元 素 ， RTE TE œt 使 得 0 天 ci <1s 同样 在 第 i 
行 又 有 另 一 个 非 零 元 0; ,1 满足 0<ai 5 <1, iach. WEFR, 
我 们 就 可 从 a， J ,出 发 ， 找到 一 列 4, 5 Me; tje- WE 

0 一 9i17， piper le k= 2,3,°, 
而 4 的 行 数 是 一 个 有 限 数 ” ， 故 到 某 一 步 所 得 到 的 行 指标 i, , 必 
与 前 面 某 一 步 得 到 的 行 指标 i; 相 重 ， 即 i ,1 = i;。 现 不 妨 假定 ;= 
1， 否 则 可 将 出 发 点 移 到 第 1 行 ， 然 后 重新 编号 即 可 。 这 表明 ， 
我 们 可 以 找到 5 个 互 不 相同 的 行 指标 is,*… ,i 和 s 个 列 指标 所， 
,Js 满足 


» a; 


O<G; ija? a; <l, k= 1,2,°%,5, 


FH ty. =。 . 
将 这 2s 个 元 素 所 在 的 位 置 分 为 两 组 : 
Z= {Cksik); k=1,2,%,S}, 
P= {Cif 8) Cips jk-1)3 k= 2,,5} 


early 


图 5.2 OMAT Z, ORTH: 
图 5.2 给 出 了 s= 3 时 ， 所 找到 的 6 个 元 素 所 在 位 置 示意 图 ， 并 标 
出 了 其 分 组 情况 。 
令 , , 
aR aper PP BE CP 
a;j 7a, CEZ 
Ci=12i +0, G DEZ 
Gijs 其 他 ， 
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a:;+8; GCL, 
if=14201 一 有 GDE Lay 
a; js 其 他 ， i 
记 A=[4,,], 4=[4,,], M AF ARERR, H rcD < 
2(4)，2(4)<2(4)。 于 是 由 归纳 法 假设 ， 有 


ni ni 
Â= >10iPi， 0, ei =l, 


iel i=} 


nI : nl 
A= >)¢;P;; T; 20, So; =1. 


el i=} 


注意 到 
B ， a 
Asiy tang 
4 
B 
T= orp a; + apo 
就 有 
ni nt 
A= >oiPi， 9:20, Dol 
由 归纳 法 原理 知 定理 得 证 。 


$6 有 关 年 阵 特 征 值 的 几 个 重要 定理 

6.1 一 般 方 阵 的 Bauer-Fike 定理 

首先 ， 我 们 氢 述 一 个 非常 有 用 的 关于 特征 值 的 包含 定理 一 一 
Cerschgorin 圆 盘 定 理 。 它 的 证 明 在 许多 数值 代数 的 教 课 书 中 都 可 
找到 ， 因 此 这 里 不 再 玩 述 ， 有 兴趣 的 读者 可 查阅 有 关 的 文献 ， 例 
如 可 参看 [10]。 

定理 6.1(Gerschgorin CHB) ik A=[2,,JEC*%**, + 
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Tet 


G,(A)={ 2€C: lea, <Da) t= ]1,2,,n, 
, . (6.1) 
Rul 
(1) DTUG: A; (6.2) — 
(2) MRG DAE MOA, Am PHAGES HS RAN 
-m AER. ME m PSE a a ae, A AM m 
个 特征 值 ， | 
例 6.1 iz 
1 1 0 
A=|1/8 2 us|. 
0 1⁄3 5 
A 的 三 个 Gerschgorin [Bj #t 4) BI: 
G,(A)={2zEC: |2z-1[<1}, 
GLA) ={2EC: |z- 2] <1/4}, 
Gal A) ={ZEC; |z=-5]<1/3}., 
容易 看 而，GC4) 与 CGzC4) 相 交 ， 而 CaC4) 与 另外 两 个 贺 盘 分 离 。 
因此 ， 由 Gerschgorin 定理 ， 我 们 可 以 断言 ， 在 GsCA) 内 必 有 A 的 
一 个 特征 值 ， 而 在 G1(A) UGCA AA ARATE. on ER 
HER ABE D= diag(1,1,1/16)， 则 由 


1 1 0 
DAD! = 区 2 ?| 
0 1/48 5 


可 判定 出 4 有 一 个 特征 值 4 满足 
|A -5]<1/48. 
例 6.1 表 明 ， 灵 活 应 用 Gerschgorin 定理 ， 有 时 会 给 出 特征 值 
的 非常 好 的 估计 。 
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下 面 我 们 给 出 一 个 一 般 方 阵 的 畦 征 值 的 扰动 定理 。 

定理 6.2(Bauer-Fike 定 理 ) 设 A,BEC"**， 其 中 A 可 对 角 
化 , I A=Q07AQ, A AMAR, OC 为 非 奇 异 人 矩阵。 则 对 任意 
的 4EA(B)， 必 存在 4E4(A)， 使 得 


la -a]l lollA ~ Ble. (6.3) 
证 明 若 AEXC4)， 则 (6.3) 自 然 成 立 。 下 面 考 虑 4 所 404) 的 
情形 。 设 xcEC" 是 已 之 属于 卢 的 特征 向 量 ， 即 Bx = hx， 于 是 有 
(B- Ax = ux ~ Ax= (HI - A)X, 
BHF uA), k- 4) 可 道 ， 从 而 有 
x= (HI — A) (B- Ax = Q7'CHI — A) OC B- A). 
上 式 两 边 取 2 ER. FEARS ERM ATA x. 0, 有 
1 elale lA- BIC ymin [A-#] 
Rp 
mis [A -als lehte lA- Ble, 
从 而 有 (6.3) 成 立 。 证 毕 。 
1982 年 ，Kahan,Parlett 和 疾 尔 雄 ， 将 上 述 定理 推广 到 一 般 方 
阵 ， 他 们 的 证 明 需 要 下 面 的 结果 。 


引 理 6.1 设 对 角 元 素 为 和 的 天 阶 著 当 块 了 的 奇异 值 AOS 
Opera, >0. Mill 


k 
oT Apei. (6.4) 
证 明 ”由 假定 知人 矩阵 
À 1 1 
A 0 | A T ° 
T= J*J= . 1 
0 
0 i A A 
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Jal? A 0 
à 1+4? 
. _ 不 
0 aA 14+{al? 
HEE of ol D>oz>0. Fil 用 Gerschgorin 定理 ， 可 得 
O<o2<14+ Al? +2[Al, i= 1,2,0,k 


k 
IIe: 
gz- ies detT) LAL? 
k— k-1 7 k-i “C1 + [al >?@- 
[lo; Tc 
i=l i=} 
由 此 立 得 (6. 4). 


定理 6.5( 广 义 Bauer-Fike 定 理 ) 设 A,BEC"**， 并 假定 4 
的 Jordan 分 解 为 4= O-!IJO@， 其 中 了 是 4 的 Jordan 标 准 形 。 则 对 任 
FERREACB), BA ACACA LER 
la -pj|™ 
《1 十 | 一 下 
其 中 尺 是 丁 中 属于 4 的 最 大 Jordan 块 的 阶 数 。 
证 明 无妨 假 设 4&4CA4)。 此 时 , I-J. ak 似 于 
Bauer-Fike 定理 的 证 明 可 证 
ISJ -D NCA- DOs. (6.6) 
设 J= diag(Ji, Jase, J+), 其 中 J ;是 以 A 的 特征 值 As Amt AA 
元 素 的 EK; 阶 Jordan 块 ， f=1,2,",7。 则 由 引 理 6.1 可 得 


Icer -Jy 11 i= OminCHIT 一 也 = min OminC Hl — J) 


SJOA -B80 |,» (6.5) 


ky 

Ju-A;l ' 
= min 一 一 一 一 天 一 6.7 
Beir C+ [a Apt? (6.7) 
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其 中 Onl- J) AR CHI - D Beh OH A. 注意 到 函数 
a*/(1+a)*~) 对 任意 给 定 的 ao>0， 随 着 大 的 增加 而 减 小 ， 就 知 
必 存 在 4 的 某 个 特征 值 1， 使 得 

nin lezal"! la-a)” 


reser CI+ {pA a+ |B -AD™ Y (6.8) 


Hh mf J PR A fy Jordan 块 的 最 大 阶 数 。 由 (6.8), (6.7) 
和 (6.6) 立即 知 定理 的 结论 成 立 。 


6.2 正规 矩阵 的 Hoffman-Wielandt 定理 


利用 正规 矩阵 可 本 对 角 化 这 一 特征 ， 可 以 得 到 一 些 非 常 漂亮 
的 结果 。 这 里 ， 先 证 一 个 简单 而 又 十 分 有 用 的 结果 。 
定理 6.4 设 AeC**" 是 正规 矩阵 。 任 取 xEC",[xl:=1， 
定义 ACx)=x*Ax， 则 
min [A= Hx) |<] E ETTE DEA (6.9) 
证 明 由 于 A 是 正规 矩阵 , 故 存在 UE Wr, 使 得 A= UAU”*， 
其 中 A= diag(Ay,-+,An). FE | 
[CA -PODDA la = JUCA- #2) DDU* x) 
= |A- He) DU*zx), 
> min |4; ~ ACx) 11U*xl 
= min l4: ~ px)|, 
即 定理 得 证 。 
在 定理 6.4 中 取 x=e;(i=1,2,*…,n) 即 得 
推论 6.1 设 4=[c; 门 EC" 是 正规 矩阵 。 令 


gA = frec 12-95 51<(S lass?) pis beon 
jxi 


则 每 个 圆 盘 多 ;CA) 内 至 少 有 A4 的 一 个 特征 值 . 
注 6.1 定理 6.4 通常 称 作 Krylov-Bogoljiabov-Weinstein 定 
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理 。 尽 管 它 的 证 明 特别 简单 ， 但 它 揭示 了 正规 矩阵 的 一 个 重要 性 
质 ， 任 一 单位 向 量 x ， 数 k(x)=x*Ax 可 作为 A 的 某 个 特征 值 
的 近似 估计 ， 其 精确 程度 可 以 用 剩余 向 量 r(xz)= Ax- ua) 的 
2 范 数 的 大 小 来 恒 量 。 

定理 6.5 (Hoffman-Wiejandt FB) 设 A 和 8B 是 两 个 n 阶 
EHER, EAS EA o> 别 是 Ais, "sAn Al Hi sles stn. 
则 存在 1,2, 0,1 的 一 个 排列 C1), 202), ,xCn)， 使 得 


(Slee al?) <1B- Ale. (6.10) 


证 明 ik AAI BAY Schur 分 解 为 
A=UAU*, B=VQV*, (6.11) 
其 中 U,V E Wn A= diaglhi e, An), Q= diag( t, Hn). FH 
(B-Allp=trCLVQV* -—-UAU* [LV QV* - UAU*]*) 


n n 
= >) lej + Sail? 
ie. ist 


-trCAU*V QV*U +U*VQV*UĪ). (6.12) 
令 

W =U*V =[w;;], Oij= A; Bjt itj, 1 去 DJn。 
直接 计算 可 知 


trCAU*VQV*U +U*VOV*UA)= >，9iiloiilz。(6.13) 


isj=1 

HWE Yn Sos lo: ;1:J 是 一 双 随 机 阵 。 下 面 我 们 的 主 

要 任务 就 是 给 出 (6.13》 的 上 界 佑 计 ， 为 此 ， 我 们 来 考虑 如 下 定 
MADER EZ HA 


fCS)= 5 9; 5% % js (6.14) 
isj=l 
Ap S=[0;; ] EC" 是 双 随 机 阵 ， 
根据 Birkhoff 定理 ， 对 于 任意 的 双 随 机 阵 $ ， 有 
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ma n! 
S=D)0.P;, 9,20, Dosh 
i=l i=l 


其 中 Pye, Pan: 是 所 有 不 同 的 n By HE Wi) Fy BE. 令 排 列 方 阵 P 满足 
f(P)= max CPi)» 


则 


f(S)= Sho POSIP) 6.15) 


对 一 切 的 双 随 机 阵 S 成 立 ，。 
而 对 于 排列 方 阵 P， 必 存 在 1,2,%,7 的 一 个 排 列 元 (1)， 
AX(2),*,XT(n)， 使 得 


Tp— pT — 
eC; P= Cris t= ],2,°%¢,n, 


于 是 
ICP) = X biran (6.16) 
i=l 
将 (6.16) FEA (6.15), 7§ 
SOS DG i xcas 


对 一 切 的 双 随 机 阵 SR 特别， 对 Soa Clo. 有 


ACSI = DS) loia t SD iao 
i=l 


isj= i 
= D ABa + hikari))e (6.17) 
i=l | 


从 (6.12),(6.13) 和 (6.17) 得 _ 


n 
IB- Al2> > ds; |? + [Aj [> -AiRac) ~ Apes) 


4 = 1 
n 

= SA: — Hal” 
i=1 , 
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如 定理 得 证 。 
推论 6.2 ik A,BCC"** & Hermite Mah}, 它们 的 特征 值 分 
别 为 | 
Ayer An Al ye Hne 
wij 


Sa, —H; 2) iB- Alr. 


证 明 只 需 证 ， 对 于 1 2,… 和 1 的 任 一 排列 01), 7€2), 0%, 
a(n), #6 


Do ~H; ye Da = Hg) 


即 可 。 详 细 证 明 留 作 练习 ， 
并 论 6.3 WA BEC™™ EAM aS IH HE 
Ts OAL Tete 0. 
则 


(Bor) =1B-Alr. (6.18) 
i=l 


证 明 不 失 一 般 性 ， 可 假定 m=n, 设 4 的 奇异 值 分 解 为 
A= UZV*, 其 中 U,VE “nd = diag(O,,+,0,), Ope D> 
0. ERIE ATA 


其 中 


Hy an Br HIE. Mati] 。 
Ope On 一 On eel — Ole 
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0 B 
HATE 。 o BETEA 


* 


Ti te Tp = Tae > — Tie 


对 Hermite 4f fE [ ^ 和 [ ”] 应 用 推论 6. 2， 可 得 


2>) os, 2- Aa 
= 2|B8- Al2. 
由 此 即 知 (6.18》 成 立 。 
6.3 Hermite 矩阵 的 极 小 极 大 定理 


定理 6.6 (Courant-Fischer 极 小 极 大 定理 ) ACC" 4 
Hermite 矩阵 ， 其 特征 值 为 AS An. AA 7 


A; = max min u*Au ` (6.19) 
rca” ue S(#) 
= min max u*Au, (6.20) 


-n^ ucs(r) 
EG itl 


其 中 G1 表示 C" 中 所 有 维 子 空间 的 全 体 ， 
SCZ) = {ue 2 | lul: = 1}, 1=],2, %7 


证 明 先 证 (6.19) 成 立 。 设 uie, un 为 对 应 于 Aity An 
的 特征 向 量 所 构成 的 C" 的 一 组 标准 正 交 基 。 

现任 取 C” 的 一 个 i 维 子 空间 人 2， 并 假定 Xx,x2,"…,x; 是 名 
的 一 组 基 。 将 每 个 xj 按 出,…,un 展开 有 


n , 
xj = 之 1Gkjuk， 7=1,2,00°,8, (6.21) 
kok 


id X= [x "Xj, U =[ty,e,uy |, B=[a,;], 则 (6.21) 写 成 
短 阵 形式 即 为 X=UB。 现 将 昌 作 如 下 分 块 
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B [2 1 


By n—st+l, 
$ 


则 齐 次 方程 组 
Biy=0 (6.22) 


Ei-1 个 方程 ,i 个 未 知 数 ， 故 必 有 非 零 解 ， 又 多 的 列 是 线性 无 
关 的 ， 故 对 (6.22) 的 任意 非 零 解 y 都 有 Boy 六 0。 因 此 ， 可 取 
(6.22) 的 一 个 非 零 解 vy AEM Boole = 1-10 Boo = (| es 


fad", Wl x)= Xy,=UBy, = >) Fel, CB’, E lole = 1Byol = 
k=i 
8:yol. = 1。 因而 有 


n n 
min u*Au<<x* Ax = (Deru ) 4( cu) 
kei keri 


WES (a) 


= Sal ALA D Ekl? =A (6.23) 
k-i . ki 


BAW, WF 2, = span{u pu; XH RNY RTA 
间 ， 有 
í 
min u*Au= min Ď,|Ek[ A= Aie (6.24) 


Siepie” 
k~l 


Hy (6.23) 和 (6.24) Blan (6.19) 成 立 。 

至 于 (6.20)， 只 需 应 用 (6.19) F-A 上 上 即 可 。 证 毕 。 

下 面 我 们 利用 Hermite Ja REAR) AR Ae BAR LE AL + 
重要 的 结果 。 首 先 分 别 在 (6.19 M (6.20) pi RAL, 
就 得 到 

推论 6.4 itn By Hermite 矩阵 4 的 最 大 与 最 小 特征 值 分 别 
War Bane All 

人 ;1 = max u*¥Au, An= min utAu, 


uc ueg” 
iluilg=1 Hejl =1 
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定理 6.7( 分 隔 定 理 ) 设 4 为 n 阶 Hermite 和 矩阵 ,有 = U*4U， 
eh ye ce-o WE UU sIn 再 设 4 与 了 的 特征 值 分 别 
Ay A An AW Leene 则 | 
Aye by A> SS Åne (6.25) 
证 明 ”由 极 小 极 大 定理 知 ， 存 在 一 个 i 维 子 空间 .YyCCn-+， 

使 得 | 
Ai = min v*¥Bv, (6.26) 


VES(Y) 


令 
={Uy|ye Y}, 
则 犁 证 多 是 C*” 中 的 一 个 i 维 子 空间 。 于 是 


Fi= min v*Bv= min v*U*AU v 
ves(y) ves(x? 


= min u*Au< max min u*Au 
ues) eeg} VES(F) 


= Aie (6.27) 

完全 类 似 于 (6.27) 的 证 明 ， 利 用 定理 6.6 M (6.20), WIE 

| a re (6.28) 
FA (6.27) 和 (6.28) BNE (6.25). 定理 证 毕 ， 
从 定理 6.7 很 容易 导出 下 面 一 个 常用 的 结果 。 


推论 6.5 设 AEC"*" J Hermite pE, BÆ AR —A kir 
EP (l<k<n-1). FIZA 与 召 的 特征 值 分 别 为 Ave An 


和 所 之 玉宇 Vx。 则 
Ai Bi Àn-k+i9 i= 1,2, "k, 
ERRERA. : 
定理 6.8 设 n lýt Hermite Hike AE B HJR ES B HAS 
co An A Ste EHn, FPR E=B- 4 的 最 大 与 最 小 特征 值 分 别 


Ae, Alen. Mil 
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Ai HERB; SA; tE 1=1,2,0,n, (6.29) 


证 明 首先 对 矩阵 4A 应 用 定理 6.6 知 ， 存 在 一 个 n-1+1 维 
TZE 2CC”"， 使 得 


A; = max u*Au, 
ucs) 


然后 再 对 B 和 E 应 用 定理 6.6 和 推论 6.4 知 ， 对 上 面 所 得 到 的 子 
FEZ, A 


H; < max u* Bus max u*Au+ max u*Eu 
u: S(r) ue S(r) uc S(*#) 
=A; + max u*FEucl,, +E (6.30) 


其 次 ， 在 上 述 证 明 过 程 中 交换 A 4g BINT, FFE RB - E 


Ai H; — Ene (6.31) 
由 (6.30) 和 (6.31) 可 知 (6.29) 成 立 。 定 理 证 毕 。 
由 定理 6.8 立即 可 得 下 述 重 要 结果 ， 
定理 6.9 (Weyl 定理 ) 在 定理 6.8 的 假设 下 ， 有 
Hi Ail lA- Ble, 1=1,2,°",7, 
推论 6.6 在 推论 6.3 的 假设 下 ， 有 


[ti 20 E&A- Ble, 1=1,2, 1, n 


3 题 
1. 设 
Air Ae 
Aas | Az, Ade |， 
其 中 A; j 均 为 方 阵 ， 并 满足 AnA = AnA. LENA 
det(A) =det( AnA — Ast Ais). 

2. 设 Hi WEHR H, 是 与 万 同 阶 的 Hermite i pE, 

AE: Hit H: 为 正定 什 阵 的 充分 必要 条 件 是 H HAHET 


ol 


AF -1., 


V , 
3. 设 Y=| 0 lect n>D 清 是 V*V =7。 证 明 Vi 的 奇 


2 


FN FEF 1. 


4. R AECR””. WRH AECI "Lk <p), 使 得 


JA-Aglle=min{]A-Blp: BECP}; 
如 果 进 一 步 假 定 4 的 奇异 值 为 
OL >On, 
试 证 : 


1 
min |A-Bl,= (OR + +02)2%° 
rank(B<k 


5， 设 名 和 9 是 C" PRS AER AGA PE SSI. UE: 
dist(2#, Y=] ~- Pe)Py)= | - Py) Pele. 
6. BEA =[a;; ] ECT", 证 WA: 


decatei TI(S 0), (Slat)). 


7. AEC" 有 奇异 值 an 人 0。 LE AY: 


i áx] min max Taxla 
Tim MAX mn ,= ee ieh; 
dim? = į 0 =t- itl r0 
特别 有 
4xa ix 
aR tele?) Ot ME rh, 


8. VE Qe <a, pr fig fne 证 明 


min Sa, — Bai) = SS, -p,)*. 
= 1 s=1 


BES Hy i = 
9. BAEC", ACA) = {Aids CCAD = {0}. IRIE: 
TAL >een, Oy ee On, 


则 


如 果 


k k | 
Tle: THl4il, k=1,2,°,n, 
i=l i=l 


10. bh®AEC™™, BEC”. IE|AB|<|Al| Bl. 

11. 设 AER"*” 是 非 负 不 可 分 和 矩阵。 证 明和 的 特征 多 项 式 
具有 如 下 形式 : 

p(t) =i™ (th — PCA) GP — 5,P(A)™) oe GP- 6, PCA"), 
Hp m+rh=n, O0<[d;|<1, t=2,e,7. 
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第 二 章 ”矩阵 计算 概论 


$1 和 插 阵 计算 的 基本 问题 和 来 源 


1.1 基本 问题 

人 第 阵 计算 的 三 类 基本 问题 是 : 

Cl) 求解 线性 方程 组 ， 即 给 定 n 阶 韭 奇 异 方 隆 A 和 1 维 向 量 
b， 求 一 个 1 维 向 量 x 使 得 
Ax =b; 

(2) KEE Ti E A R tae 7h — RR I, BY Bt Em A Amn) 
和 mm 维 向 量 b， 求 n 维 向 量 x 使 得 

[Ax ~ dl], = min{]Av—-5],; ve R")}; 


” O) 计算 一 个 矩阵 的 特征 值 和 特征 向 量 , 即 给 定 一 个 方 阵 A ， 
求 它 的 全 部 或 部 分 特征 值 ， 或 者 相应 的 特征 向 量 ， 

这 三 类 基本 问题 的 来 源 是 极其 丰富 的 ， 尤 其 在 近似 求解 物理 
中 的 线性 偏 微 方 程 时 ， 最 终 都 要 归结 为 一 个 矩阵 计算 问题 。 下 面 
我 们 给 出 三 个 较 殿 型 的 例子 ， 以 便 读者 对 这 些 问题 的 实际 背景 及 
一 个 实际 问题 如 何 转化 为 一 个 矩阵 计算 问题 有 一 个 基本 的 了 解 。 


1.2 膜 的 振动 
现在 我 们 考虑 一 个 物理 问题 : 一 张 弹性 膜 张 在 一 个 刚性 的 框 
” 架 上 ， 膜 上 每 一 点 都 受 一 个 阜 直 于 膜 的 力 的 作用 ， 决 定 膜 上 每 一 


点 的 垂直 偏 移 ， 
在 某 些 简化 假设 之 下 ， 这 一 物理 问题 可 归结 为 求 一 个 函数 
u: Q-—>R 满足 


-o4 


f T Au) = f(x), xEQ, (1.1) 
\ uCxy=g(x), XET, (1.2), 
Hpo RFK R List A REE, ORR OM A, T 
表示 9 的 边界 ，A= ke + 23% Laplace WF, /和 9 REA 
数 。 
在 对 f ,9 及 边界 作 基 些 适 当 的 正则 性 假设 之 下 ， 可 以 证 
明 由 (1.1) 和 (1.2) 确定 的 边 值 问题 有 且 仅 有 唯一 的 R, CEA 
上 连续 ， 在 2 上 二 次 连续 可 微 。 然 而 ， 除 了 某 些 很 罕见 的 特殊 情 
有 形 之 外 ， 我 们 一 般 无 法 求 出 它 的 精确 解 。 因 而 ， 就 需要 寻找 一 种 
求 其 近似 解 的 方法 。 有 限 差分 法 就 是 为 求 这 类 问题 的 近似 解 而 建 
立 起 来 的 -种 方法 。 
为 了 下 面 的 叙述 简单 起 见 ， 我 们 假定 Q 是 边 长 为 工 的 单位 正 
方形 ， 即 
Q= {x= (aD) ER? 0<, a1, 


所 谓 有 限 差分 法 就 是 在 开 集 9 的 有 限 个 点 上 给 出 解 的 近似 
值 ， 其 具体 做 法 可 分 为 三 步 ， 

Z-S HEES 长 上 = 二 分 为 若 于 正方 形 网 格 ， 其 
结 点 为 Cih, ih), 1,7 = 0,1,* ,ni 

第 二 步 。 在 每 个 内 部 结 点 p O p& 了 上 以 有 限 差 商 代替 偏 
导数 ， 就 可 导出 Laplace 算 子 的 五 点 台 近 公式 : 


Anup) =A up +uCPg) +uCp3) +uCpy) ~ 4ucp)), 


其 中 Pis Pos Ps 和 Pi 是 与 了 最 邻近 的 四 个 结 点 〈 如 图 1.1 所 示 )。 
REE. DPH Aru MRE AUO), 边 值 问题 1.1) 和 (1.2) 就 


离散 成 a 
p TAMPI p= Ch jh) CQ, 


u(p)= GCP), path, jh) Er, 
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再 对 结 点 进行 编号 ， 上 面 离散 化 方程 就 可 写成 如 下 形式 的 线性 方 
程 组 | 
An tn =n, (1.3) 
其 中 A, 为 一 个 每 行 至 多 有 五 个 非 零 元 素 的 (1 一 1)? MYRE, un 
就 是 内 部 结 点 上 待 求 的 uCp) 的 值 按 选 定 顺 序 排列 成 的 (n~1)? 维 
未 知 向 量 ，5 为 由 f 和 9 确定 的 已 知 向 量 。 

第 三 步 ” 解 线性 方程 组 (1.3). 

这 样 就 把 求 膜 的 振动 规律 问题 转化 为 求解 线性 方程 组 的 问 
a 

现在 假 定 = 于 ， 我 们 来 考察 一 下 几 种 常见 的 排序 方法 所 产 


生 的 An 的 具体 形式 。 


图 1.1 1.2 


CL) 自然 排序 法 。 将 内 部 结 点 按 如 图 1.2 所 示 的 自然 次 序 编 
号 。 此 时 ， 容 易 导出 
B -I 0 
一 了 B 一 了 | 


0 一 了 B. 


A, = 


其 中 
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4 -] 0 
B= — İ 4 一 3 


0 -l 4 


I 是 三 阶 单位 阵 ， 
(2) 奇偶 排序 法 。 将 内 部 节点 按 图 1.3 所 示 的 次 序 编号 ， 即 
先 从 小 到 大 排 1+7 为 偶数 的 节点 ,然后 再 从 小 到 大 排 1+7 为 奇数 
的 节点 C4,7h)。 在 如 此 规定 的 顺序 之 下 ， 有 
D, C 
ot op I 
其 中 D, = diag(4,4,4,4,4), D,=diag(4,4,4,4), 
-1 -1 0 0 0 
—] 0 -l 0 | 
C = -] -1 -1 -1 |。 


a- 


图 1.3 图 1.4 
(3) 对 角 排 序 法 。 将 内 部 节点 按 图 1.4 所 示 的 对 角 线 次 序 编 
Ss. WaT, ABM A, 为 
A B, 0 
m= Bi D a} 
0 B A, 
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4 -1 -1 4 0 0 
TE 4 0 |, p-o 4 j 
—1 0 4 0 0 4 
0 0 0 一 ] 0 0 
JE -I 0 js JE 一 上 | 
0 -1 -1 0 -10 
4 0 -1 
A= 0 4 -1 
-1 -1 4 


出 此 可 见 ， 不 同 的 排序 所 产生 的 矩阵 An AA, A HE 
序 将 会 对 离散 后 的 线性 方程 组 的 求解 有 极 大 的 影响 然而， 不 论 
人 怎样 排序 ， 所 得 到 的 Ar 每 行 总 是 至 多 有 五 个 非 零 元 HR. As 
n 较 大 时 ，As 是 一 个 大 型 稀 踢 矩阵 。 例 如 ， 当 多 = 1/21, An 
是 400 x 400 方 阵 ， 而 其 中 仅 有 大 约 2000 个 非 零 元 素 。 


1.5 弹性 采 统 的 振动 - 


特征 值 问 题 的 一 个 丰富 的 来 源 就 
是 对 振动 问题 的 研究 ,下面 考 虑 一 个 
如 图 1.5 所 示 的 弹性 系统 的 振动 模 
7, CH te Aa ER n RARA N 
个 物体 构成 ， 在 重力 和 弹性 力 的 作用 
下 ， 在 垂直 方向 作 振 动 。 我 们 的 问题 
Tas 是 求 系 统 中 每 个 物体 的 位 移 。 
lu, ke 设 第 1 个 物体 的 质量 为 m;, 第 1 
l 段 弹 赞 的 弹性 系数 是 k;; 并 假定 在 
时 刻 t 第 :个 物体 的 位 移 为 4;(2). 
按照 力学 的 有 关 理 论 可 导出 系统 的 运 


ü = Au, (1.4) 


` d?u d?u,\T 
Ferh u= (u,,,u,)7, u= “Ga ar) > 
Qa Yı 0 
Br Q 72 
A= Be > 
"。 “， Yn-1 
0 Eni Cn 
5 k, 
Qi= 一 nae +t) (kn+1= 0), 


Bi= kir/mir, 
vizkyai/m,, 
如 果 我 们 试 求 (1.4) 的 形 如 
u= UosinAt 
的 解 ， 其 中 wo= (ue u POTER? 为 不 依赖 于 的 常 向 量 , 则 
代入 (1.4) 有 
. C — Asing tug = (sinjt)Auy, 
即 - 22 和 uo 应 满足 
4uo= 一 人 ao， 
这 样 ， 要 求 系统 中 每 个 物体 位 移 的 问题 就 转化 成 求 4 的 特征 
值 — A? 和 特征 向 量 wo 的 问题 ， 这 里 的 4 在 物理 上 叫做 系统 的 固 
有 频率 。 


1.4 多 元 线性 回归 分 析 

在 现实 生活 中 ， 我 们 常常 希望 根据 以 往 的 经 验 对 未 来 可 能 发 

生 的 事件 作出 预测 .例如 ， 在 气象 中 ， 希 望 基 于 在 茶几 个 时 刻 对 
大 气压 的 测量 ， 预 测 几 小 时 以 后 的 气象 情况 。 这 类 问题 用 数学 的 
语言 来 讲 ， 就 是 要求 研究 某 个 随机 变量 Y 与 男 外 一 些 随机 变量 
59 


Te 之 间 的 关系 ， 并 通过 对 Xis, Xm 的 测量 ， 预测 在 今 
后 可 以 观察 到 的 变量 Y 。 回 归 分 析 方 法 就 是 处 理 这 类 问题 的 一 种 
常用 的 方法 。 这里， 我 们 来 考察 一 种 较 简 单 的 回归 分 析 模 型 一 一 
多 元 线性 回归 分 析 。 

VEGA PLAS BY FAX 50, Xm 之 间 有 如 下 的 线性 关系 : 


Y =bg th Kyte +baX ms 


但 其 中 的 borbi te On 是 未 知 常数 : 并 设 对 这 些 变 量 进行 了 1 次 
HU BE te 到 如 下 数据 
YpstX igs 9X mizo J=1,2,°%,n, 


线性 回归 分 析 就 是 根据 这 7 次 观察 到 的 数据 对 bostes bata H 
估计 。 通 常 采 用 的 方法 是 求 bots bn ER 
> (S581 +h)) 
natn S3(o.~ (Shots ets) b ER, 


7=0,1,0%,m } 
将 其 写成 矩阵 向 量 形式 就 是 求 最 小 二 乘 问题 
| Xb- yļ2= min{| Xv- yl: VER”) 
之 解 ， 其 中 b= (babit ba), Y= Mist Yn)T, 


I Xu Xg "e Xar] 


1 Xis Xoo ote Xm? | 
oo eee | 


1 Xin Xon eee Xan- 


”这 样 一 来 ， 一 个 需 预 测 的 问题 ， 就 通过 多 元 线性 回归 分 析 的 方 
法 ， 最 终归 结 为 一 个 线性 最 小 二 乘 问题 的 求解 问题 。 
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§ 2 病态 问题 和 数值 稳定 性 


这 一 节 ， 我 们 着 重 介 绍 矩阵 计算 中 两 个 非常 重要 的 基本 概 
念 ， 即 垂 阵 计算 问题 的 病态 性 和 计算 方法 的 数值 稳定 性 ， 


2.1 和 矩阵 计算 问题 的 病态 和 和 页 态 


对 于 一 个 给 定 的 矩阵 计算 问题 ， 由 于 误差 的 存在 ， 我 们 首先 
必须 研究 的 一 个 重要 问题 是 ， 问 题 的 参数 〈 如 在 线性 方程 组 的 求 
解 问 题 中 ， 系 数 甜 隆 和 右 端 项 即 为 参数 ) 的 微小 扰动 对 问题 的 解 
将 会 产生 什么 样 的 影响 呢 ? 这 就 是 所 谓 的 问题 的 解 对 参数 扰动 的 
敏感 性 问题 不同 的 问题 其 解 对 参数 的 扰动 的 敏感 程度 大 不 相 
同 ， 有 的 十 分 敏感 ， 有 的 则 不 然 。 如 果 一 个 矩阵 计算 问题 ， 其 参 
数 的 微小 变化 会 引起 解 的 巨大 变化 ， 则 称 这 个 矩阵 计算 问题 本 身 : 
是 病态 的 ;否则 称 其 是 夏 态 的 。 病 态 的 矩阵 计算 问题 是 经 常 遇 到 
的 ， 现 在 来 看 一 个 简单 的 例子 。 

例 2.1 求解 如 下 的 线性 方程 组 


1.001 0.999 Jrx,- 72 
| iji =| |. (2.1) 
0.999 1.00) JE x, - Le 


容易 看 出 ， 它 的 解 为 x= C)", D). 
如 果 把 (2.1) 的 右 端 项 作 微小 抗 动 


b= (10 3, ~ 10-3)7， 
则 C2.1) 变 为 


1.001 0.999 77 ži r2.0011 
| 0.999 1.001 Il Žž, |=[ E oo) (2.2) 
直接 计算 可 知 ，(2.2) 的 解 为 = (ii,zo)7=(1.5,0.5)7。 因 此 有 
lz-zl- 0 dle 1 
| xt >? bla 2000° 


这 表明 解 的 相对 误差 是 右 端 项 相对 误差 的 1000 倍 ! 
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如 果 把 (2.1) 的 系数 矩阵 作 微小 扰动 变 为 
1 11rz1 r2 
| 9.099 1 lalah 

EE RB HZ = (0,2)Y"， 这 和 (2.1) 的 解 的 差别 就 更 大 了 、 

这 表明 线性 方程 组 (2.1) 的 解 对 参数 的 微小 扰动 是 十 分 敏感 
的 。 

这 里 需要 特别 强调 的 一 点 是 : 一 个 矩阵 计算 问题 的 病态 与 
否 ， 是 这 个 问题 本 身 的 固有 属性 ， 与 计算 这 个 问题 的 算法 无 关 。 
-当然 ， 问 题 的 病态 性 会 对 它 的 近似 求解 带 来 很 大 的 困难 ， 病 态 程 
EREE, MEMEK. 

kih, AESREAZEH ARAR BT, 
j A J A E R TA RER S Das FF AL AE FHS YL PA BE SE AL R E 
HEH. 

上 上面 记 讲 的 病态 或 良 态 只 是 一 种 定性 的 描述 ， 而 从 实际 计算 
的 角度 出 发 ， 还 需 从 定量 上 加 以 刻画 。 有 关 三 类 基本 算 阵 计算 问 
题 的 解 对 扰动 的 敏感 性 的 定量 刻画 将 在 今后 的 有 关 章 节 里 详细 加 
以 介绍 


2.2 算法 的 数值 稳定 性 


所 谓 计算 一 个 数学 问题 的 算法 就 是 一 些 数据 按照 指定 的 顺序 
进行 运算 的 一 个 序列 。 例 如 ， 对 于 数学 问题 : Bap >4qa, R 


x= AC pt vp 44) 


的 值 可 设计 如 下 两 个 算法 : 、 
算法 I FEIR I 
(1) l= 44, (1) 一 (4) 同 算法 工 ， 
(2) s=p2， (5) y=7+P) 
(3) t=s-l, (6) z= 24, 
(4) r=w i, (7) x= -2/y, 
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(5) y=r—-p, 


(6) X= zv, 
其 中 算法 本 是 根据 x < 的 等 价 表示 *= -24/(p+VP-49) 设计 
的 。 
一 个 好 的 算法 通常 应 该 具 + 有 如 下 特征 : 
(1) BAB; 
(2) 舍 人 误差 对 计算 结果 的 影响 小 ; 
(3) 计算 过 程 的 中 间 结 果 占 用 存储 空间 少 ; 


(4) 易于 程序 实现 ， 


也 就 是 说 ， 一 个 好 的 算法 应 该 既 快 又 准 。 但 要 设计 一 个 好 的 算法 
是 非常 困难 的 。 有时， 上述 几 条 并 非 能 够 同时 满足 ， 这 就 需 根据 
具体 问题 有 所 偏重 ， 有 的 偏重 于 快 ， 有 的 偏重 于 准 . 

这 里 需要 特别 指出 的 是 ， 在 设计 算法 时 ， 必 须 充 分 注意 舍 人 
误差 对 计算 结果 的 影响 ， 对 于 同一 个 计算 问题 ， 不 同 的 算法 ， 由 
于 舍 人 误差 的 积 款 不 同 ， TEX 即使 一 个 非 
常 良 态 的 问题 ， 由 于 使 用 的 方法 不 当 ， 也 可 使 计算 结果 完全 失 
真 ， 而 变 得 之 无 用 处 。 请 看 下 面 一 个 简单 的 例子 ， 

例 2.2 考虑 线性 方程 组 


| 10°''x, +x,=1, 


_ (2.3) 
C(1+10°'')x,+%x,=2, 


容易 验证 这 是 一 个 十 分 良 态 的 年 阵 计 算 问 题 .。 

现在 假定 我 们 是 在 十 位 十 进 制 浮 点 数 系 下 求解 这 一 方程 组 。 
若 按 自然 顺序 由 第 二 个 方程 减 去 第 一 个 方程 两 边 汪 以 10” 消去 xX， 
来 求解 ， 则 得 = 0，xs= 1 而 若 用 第 一 个 方程 减 去 第 二 个 方程 
消去 x 来 求解 ， 则 得 x1= 1，x = 41。 与 (2.3) 的 精确 解 x,= 1, 
x=1-10' 来 比 可 知 ， 前 者 已 面貌 全 非 ， 而 后 者 却 已 精确 到 小 
数 点 之 后 第 十 位 ， 已 是 能 够 得 到 的 最 好 结果 。 


63 


上 例 说 明 ， 对 于 同一 计算 问题 ， 使 用 的 方法 不 同 ， 效 果 也 大 
不 相同 。 一 个 算法 ;如 果 计 算 过 程 的 伟人 误差 的 积 款 不 大 ， 就 说 
这 一 算法 具有 较 好 的 数值 稳定 性 ; 反之 ， 如 果 计 算 过 程 的 伟人 误 
差 的 积累 很 大 ， 就 说 该 算法 数值 稳定 性 不 好 ， 或 者 说 其 是 数值 不 
稳定 的 ， 

要 想 判 定 一 个 算法 的 数值 稳定 性 的 好 坏 ， 需 要 应 用 舍 入 误差 
分 析 的 方法 。 关 于 舍 入 误差 分 析 ， 通 常 有 两 种 分 析 方 法 。 一 -种 是 
向 前 误差 分 析 法 ， 是 根据 浮 点 运算 的 伟人 误差 规律 ， 直 接 佑 计 计 
算 结 果 和 真实 结果 之 间 的 误差 。 例 如 ， 对 于 加 法 运算 ， 要 估计 


[filCx ty) ~ Cx 9)! 


WER, Hp + 四 表示 x+y 在 浮 点 数 系 下 的 计算 结果 。 另 
一 种 是 向 后 误差 分 析 法 ， 是 根据 浮 点 运算 的 伟人 误差 规律 ， 把 计 
算 过 程 的 误差 返回 到 原始 数据 的 误差 。 例 如， 对 于 加 法 运算 ， 首 
先 将 x 和 3 的 实际 浮 点 运算 表 为 


fils ty)= XL +6) +y +6), 


即 看 作 是 对 x(1 +6) 和 wl1+6) 的 精确 加 法 运算 ; 然后 再 对 5 的 
大 小 给 出 估计 。 由 于 向 后 误差 分 析 法 将 计算 机 中 学 点 数 的 实际 计 
算 转化 为 通常 的 实数 的 精确 运算 ， 所 以 在 分 析 过 程 中 就 可 训 无 困 
难 地 使 用 实数 运算 的 代数 运算 法 则 ， 而 向 前 误差 分 析 就 没有 这 一 
优点 。 因 此 在 实际 分 析 时 ， 经 常 使 用 的 是 向 后 误差 分 析 波 。 

现在 ， 我 们 以 线性 方程 组 的 求解 为 例 说 明 如 何 利用 向 后 误差 
分 析 法 来 判定 一 个 算法 的 数值 稳定 性 。 设 应 用 某 种 算法 例如， 
Gauss 消去 法 ) 求解 线性 方程 组 hx = 得 到 的 计算 解 为 z。 利 用 
疝 后 误差 分 析 方 法 ， 可 将 到 归结 为 扰动 方程 组 


(A+6A)%= b+ 6b 


的 精确 解 ， 并 给 出 154j 和 1551 的 上 界 估计 。 在 这 里 起 主导 作用 
的 是 上 541 的 大 小 ， 不 同 的 算法 所 产生 的 54， 其 大 小 各 不 相同 。 
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因此 ， 我 们 用 164171441 的 大 小 来 衡量 算法 的 数值 稳定 性 的 好 坏 ， 
它 越 小 ， 表 示 沪 算法 的 数值 稳定 性 越 好 ， 

最 后 需 指出 的 一 点 是 ， 算 法 的 数值 稳定 性 的 好 坏 与 问题 的 病 
态 性 一 样 ， 也 是 就 相互 对 比 而 言 的 ， 是 算计 本 身 所 固有 的 属性 ， 
与 所 要 计算 的 具体 问题 是 否 病态 无 关 ， 


8$ 3 年 阵 计算 的 基本 工具 


”年 阵 计算 的 莫 本 途径 就 是 设法 把 一 个 较 复杂 的 矩阵 计算 问题 
转化 为 一 个 简单 的 、 易 于 求解 的 抵 阵 计算 问题 ， 而 完成 这 一 转化 
过 程 所 使 用 的 主要 “工具 ”有 三 种 ，Householder 变换 ,Givens 变 
换 和 Gauss 变换 。 这 一 节 ， 我 们 就 来 介绍 这 三 种 变换 。 


3.1 Householder 变换 
Householder 变换 是 形 如 


H = I — 2wwT (3.1) 


的 n 阶 实 方 了 泗 ， 其 中 we R", Wiwle= 1s 4 PIR BRIX AE AD EE 
为 Householder 矩阵 或 镜像 变换 。Householder 变换 有 许多 良好 的 
性 质 ， 下 和 而 的 定理 列举 了 儿 条 最 基本 的 性 质 . 

定理 5.1 jz HÆG. D Arie X iy Householder 变换 ， 则 

C) Hae ERT BRAY TE 46 ARE 

(2) 五 仅 有 两 个 互 不 相 问 的 特征 值 ~-1l1 和 1， 基 中 1 是 n-1 
HM, — 1 是 单 重 的 ， 而 入 儿 就 是 属于 一 1 的 单位 特征 问 量 ; 

(3) det(H)= -1; 

(4) 对 任意 的 xE (span{w:)' AlacR, # 


H(lx +aw)=x- aw, 


如 请 是 关于 w 的 垂直 超 平 面 的 反射 变换 (如 图 3.1 所 示 ). 


(span {w})+ 


H(rt+ew) 


证 明 留 作 练 习 。 

Householder 变换 之 所 以 在 算 阵 计算 中 占有 重要 的 地 位 ,是 因 
为 它 具 有 如 下 定理 所 述 的 性 质 。 

定理 3.2 设 x€ R" 是 任 一 给 定 的 非 零 向 量 ， 则 可 构造 出 单 
位 向 量 wE R”, EIG. DEH Householder 变换 万 满足 

Hx=ae,, (3.2) 

Heras + | x]o. 

证 明 hF 

Hx = (J -2wwl)x=x-2(wlx)w, 

所 以 欲 使 (3.2) 成 立 ， 必 须 有 


acw'x)yw= x t flaer 


由 此 立 知 ，2 应 为 


x + xlser 


w= x+ xlehs’ 


(3.3) 
当然 ， 这 里 假定 x+ xjse1 玉 0， 直接 验证 可 知 这 样 定义 的 满足 
定理 的 要 求 。 证 毕 ， 
定理 3.2 告诉 我 们 ， 对 了 于 任意 的 xE R"，x 六 0, 都 可 构造 出 
Householder BMH, Hx 的 后 7 一 1 个 分 量变 为 零 ; MWER 
告诉 我 们 ， 可 按 如 下 步骤 来 构造 邑 : 
Cl) 计算 =x 土 jlaei3 
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(2) 计算 w=v/frl.. 
然而 ， 从 实际 计算 的 角度 出 发 ， 仍 有 两 个 具体 问题 需要 解决 : 
(1) 计算 vv 时 ，jxl; 前 的 符号 如 何 选 取 最 好 ? 
C2) x 分 量 模 很 大 时 ,如 何 避 免 计 算 jzls 时 可 能 出 现 的 溢出 ? 
首先 考虑 jxl; 前 的 符号 选取 问题 。 如 果 x 是 一 个 很 接近 于 ei 
Hm, MI v=x- siga liel 就 很 接近 于 0 (其 中 表示 xX 
的 第 一 个 分 量 ) ， 从 而 单位 化 时 就 会 产生 较 大 的 误差 。 因 此 ， 为 
了 避免 这 种 现象 出 现 ， 我 们 应 选取 |xls 前 的 符号 与 x 的 第 一 个 分 
O- EFSA, BPE 


v=x +sign(E |x faei. (3.4) 
RUE T ell, lle Hiker ee, X E 选择 的 vv， 可 使 实 
际 计算 得 到 的 五 具有 上 良好 的 正 交 性 ， 


再 来 考虑 如 何如 免 计 算 jzxl 可 能 产生 的 溢出 问题 。 由 于 对 任 
意 的 非 零 当 数 &a ， 吧 与 ”的 单位 化 回 量 是 一 样 的 ， 因 此 我 们 可 以 
用 x/|lx |. 代 夫 < 来 构造 ” (这 相 当 于 在 原来 的 v 之 前 乘 了 因子 
a= 1/1xl.), 

另外 还 需 指 出 的 是 ， 实 际 计 算 时 ， 也 不 需 明确 地 将 "单位 
it. HEA : 


ppt 


H=] -2ww" =] - are TE = 了 一 gov’, 
其 中 B= 2/vTv， 因 此 ， 实 际 上 只 需 将 v 和 B 求 出 妈 可 . 
侍 上 所 述 可 得 如 下 的 基本 算法 。 
算法 3.1 
C1) 输入 XxX= CE, ,0 En)". 
(2) n:=max{ |S, |,e (Sal). 
(3) WR n=0, Mj B:=0, FACT. 
(4) Gd, /n G= 2mm a(S) . 
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(5) 如 果 后天 0， 则 ass 一 4。 
(6) funky +a, P= eana, 
>il 


(7) 输出 有 关 人 信息， 结束 。 


这 一 算法 对 给 定 的 向 量 x 计算 出 了 数 8 和 向 量 v= Cy ery 
Unt, f Householder $h H = I — po 满足 上 xz= -a, Jf ev 
就 存在 x 所 占用 的 存储 单元 内 。 它 需要 做 乘法 n+1 次 ， 除 法 n+ 
1 次 ， 加 法 n+1 次 , 开 方 1 次 。 | 

-由 此 可 见 ， 这 一 算法 的 主要 工作 量 是 乘除 运算 。 一 般 关 于 息 
阵 计 算 问 题 的 算法 都 有 业 似 的 特点 。 因 此 ， 习 惯 上 在 考察 一 个 算 
法 的 运算 量 时 ， 只 计算 它 的 乘除 运算 的 次 数 ， 而 且 通 常 忽略 这 一 
次 数 中 关于 7 的 低 阶 项 不 计 ， 而 只 考 虚 它 的 高 阶 项 。 因此， 以 后 
几 谈 到 一 个 算法 的 运算 量 缘 指 这 一 算法 乘除 运算 次 数 的 高 阶 项 。 


Gil dui, BREEN BRIA TL TMA: Sn? + 50n? + 100" +200, W 
我 们 就 说 这 一 算法 的 运算 时 为 。m。 按 照 这 样 的 约定 ,算法 3. 1 的 
运算 量 是 2n. 

”在 应 用 Householder 变换 约 化 矩阵 时 ， 上 主要 工作 就 是 要 计算 
一 个 矩阵 和 一 个 Householder 矩阵 的 乘积 。 在 实际 计算 时 ,我 们 不 
是 将 Householder Sif 明确 地 计算 出 来 ， 然 后 再 作 两 个 年 阵 的 乘 
积 ， 而 是 充分 利用 Householder 乍 阵 的 特殊 结构 来 进行 计算 ， 

ig ACR", H= ]- pppT。 则 


© HA=(-Bprv"JA= A- BeCA™r)", (3.5) 


因此 ， 我 们 只 要 知道 构成 万 的 向 量 ” 和 常数 让 ， 就 可 按照 (3.5) 
Kit BAA. 这样， 假定 =(0, O,U pend TER", B= 
”2/vTv， 并 假定 五 4 的 计算 结果 就 存储 在 A 所 占用 的 存储 单元 里 ， 
就 可 得 如 下 的 基本 算法 。 
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算法 5.2 

C1) 输入 As’ Fp, j=l. 

C2) OV, Ay gt + Unda jy 
O:= Be, 


QT C= k,en), 


(3) 如果 jg， 则 六 =j +1， 转 步 (2); 否则 输出 有 关 信 息 ， 
结束 、 . 


容易 算出 ， 这 一 算法 的 运算 量 是 27(n -下 +1)》， 
算法 3.1 和 3.2 的 数值 性 坊 是 十 分 令 人 满意 的 .假定 算法 3.1 
WHERE OMB. 定义 | 
H=1- foot, 
则 可 证 〈 参 见 文 献 L71]) 
- IH -A}<10e, 
Hh H=- fvv7 是 准确 的 Householder 4E, © 是 机 器 精度 ( 亦 
称 单 位 误 益 》， 即 
ep” 当 舍 入 法 被 使 用 时 ， 
bit, 当 截 断 法 被 使 用 时 ， 
其 中 心 是 机 器 所 用 浮 点 数 的 基底 ， 是 字 长 。 
假定 6 和 6 又 被 用 在 算法 3.2 中 去 计算 AA, AREIA 
RE 4， 则 
A=H(A+E), 
其 中 Elsen -k +1) lAl, 
此 处 c 是 一 个 不 依赖 于 ?= 的 常数 。 这 就 是 说 ,计算 所 得 到 的 Hou- 
seholder 矩阵 请 ， 再 作用 在 一 个 矩阵 A4 上， 就 相当 于 准确 的 太 作 
用 在 一 个 与 4 十 分 人 靠近 的 矩阵 A+ EE. 
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3.2 Givens 变换 


Givens 变换 就 是 形 如 
rt ] 
| 1 | 
| e, s | 
i 1 : | 
G(i,k,@) -| 1 l | 
| -s e | k 
| t | 
| : 
L 1 7 
i k 


(3.6) 


的 n xn 矩阵， 其 中 c=cos0，s=sin0，0 是 某 一 实数 ， 
GU,k,O)2—PIER BE, 和 而且 用 它 作 用 在 一 个 向 量 上 ， 就 
相当 于 在 (i,k) 坐 标 平面 内 作 一 个 角度 为 6 的 平面 旋转 。 因 此 ， 有 
时 亦 称 Givens 变换 为 平面 旋转 变换 。 
设 x 一 (zenTIER7。 Ay y= CSi woe OT = GCt,k,O)>x, Wl 
Ci =C; Sks 
e= -Si tel 
p= ly jest MK, 

从 这 些 公式 可 以 看 出 ， 如 果 我 们 希望 变换 后 的 向 量 y 的 第 Kk 个 分 
量 为 零 ， 则 只 需 取 
on ËL _ ok 
CS Vera ep OO ERE ER 68-7) 
即 可 ， 而 实际 计算 时 ， 为 了 尽 可 能 地 减少 运算 次 数 ， 避 免 可 能 出 
现 的 溢出 现象 ， 并 考虑 到 算法 的 数值 稳定 性 ， 对 给 定 的 x= i, 
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ER 及 2 将 按 如 下 的 基本 算法 来 计算 e= cos9，s= sin Off 
GG,k,9)x 的 第 无 个 分 量 为 零 。 

算法 5.5 

C1) RIAL, Ae: 

(2) 如 果 2, =0, Wel, s:=0, ## (4); 否则 进行 下 一 
F. 

(3) mR |El >l], W 

=f /Eps s=1/(1 +), ests 
否则 
ti 一/ e=1/(1+t?)'”, set, 

(4) 输出 c 和 s， 结 束 。 

在 实际 应 用 时 ， 经 常 需 要 计算 一 个 Givens 变 换 与 一 个 矩阵 的 
KA. ZAER”. MGC, k, OARBE HRE AMS i 行 和 第 
行 元 素 之 值 ， 其 余 元 素 不 变 。 利 用 这 一 性 质 ， 如 果 我 们 已 知 
GGC, k DER i 和 ,以 及 c = cs 9 与 s= sin69, 并 将 GO, k, DA 
的 计算 结果 就 存放 在 A 所 用 的 存储 单元 内 ， 则 可 得 如 下 算法 : 

算法 5 .4 | 

C1) 输入 A,t,k,e,s; P=, 

(2) G:=a;7, 1 一 ak 和 

. a; j=l + Sp, Qarj:= ~ SG tep. 

(3) 如 果 i<q, Mi= +l, BHD): 否则 输出 有 关 信 息 ， 
结束 。 

这 一 算法 的 运算 量 是 49。 

Givens 变换 的 数值 性 态 亦 是 良好 的 。 很 定 4 和 3 是 由 算法 

《3.3) 产 生 的 ， 则 
ĉ=0(1 +£), &, =O), 
S=SC1+EsQ); Es = OCE)., 
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如 果 6 A$ 又 被 用 在 算法 3.4 中 ， 并 记 计 算 结 果 为 4， 则 有 
A=G6G,k,O)(A+E), 


其 中 
lEl:/ Al =ocs)。 
详细 的 误差 分 析 参 见 文献 [71] 


3.3 Gauss 变换 


前 面 介 绍 的 两 种 变换 都 是 正 交 变换 ， 而 且 它 们 都 有 把 一 个 向 
量 的 若 于 指定 位 置 的 分 量变 为 零 的 功能 。 这 里 我 们 再 介绍 一 种 共 
有 同样 功能 的 非 正 交 变 换 ， 即 所 谓 的 Gauss 变换 ， 
设 x = (Eite ETER”, 满足 PETIN 令 
Li 二 天 十 37 (3.8) 
并 定义 | 
Lr =7 -tirer, €3,9) 
其 中 Le = (Os, 0 ky slag)T, 则 有 
k 
Lyx =x- Fy ly = (F150 58350, °%,0)7, 
形 如 (3.9) 的 矩阵 Lx 被 称 作 Gauss 变 换 ， 有 时 亦 被 称 作 初 等 下 
三 角 阵 ， 其 中 忆 被 称 作 Gauss 向 量 。 
用 Causs 变 换 作用 在 一 个 向 量 上 ， 基 运算 特别 简单 ， 比 如 说 
y= Clo CATER", WILY =Y— uly 利用 这 一 性 质 ， 可 给 
出 计算 LAWR EAT. 
算法 5.5 
C1) fy AA=[a,;,]ER**!, lp = CO, Oslkanks teen ts 
Pl. . 
(2) aij =a; 一 QH 人 一 天 十 7)。 l 
(3) 如果 1 二 9， 则 17=7+1I， 转 步 (23); 否则 输出 有 关 信 息 ， 
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结束 。 
这 一 算法 的 运算 量 是 (4 一 49。 
ik iE l 按 公 式 (3.8) 进 行 计算 所 得 到 的 结果 ， 则 有 
l =l +e, le|<elli). 
如 果 尼 又 被 用 在 算法 3.5 中 ， 并 记 计 算 结果 为 4， 则 有 


Az=(U-l,ef)(A+E), 
其 中 
[E{<3eL|Al + [ip] lag] 1+ ove’), 
ay = Akser" Inge 
详细 误差 分 析 参 见 文献 L711， 
由 此 可 网 ， 假 如 | 上 cl 很 大 ， 则 引起 的 相对 iR Æ ENA 
也 很 大 。 因 此 ， 使 用 Causs 变 换 时 要 特别 小 心 。 
最 后 我 们 需 指出 的 是 Gauss 变换 的 乘积 所 具有 的 一 个 良好 性 


质 。 设 
天 = 了 nm 
其 中 
上 = -6 l; = (One Onli st lni)’, 
则 易 证 艺 是 一 个 单位 下 三 角 阵 ， 而 且 
也 = 
= (T+ileT CT +lsel YT +ln_ IIeT TD 


T T 
=It¢leT+eeetl, set, 


- l 
la 1 0 
=| dla da J 


lni lne “ee lasni 1 
因此 ， 只 要 知道 每 个 Causs 向 量 le FRET RAH LO 写 出 
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J E 

1. 证 明 ， 求 解 复 矩 阵 和 复 向 量 的 线性 方程 组 可 归结 为 求解 
实 向 量 和 实 垂 阵 的 线性 方程 组 。 是 否 亦 可 同样 把 计算 复 矩 阵 的 特 
征 值 问题 归结 为 计算 实 矩 阵 的 特征 值 问题 ? 

2. 证 明 ， 在 作 两 个 复数 的 乘 积 时 ， 可 以 只 用 3 次 实数 乘 
法 ;在 作 两 个 2 阶 复 矩阵 的 乘积 时 ， 可 以 只 用 了 次 实数 的 乘法 。 

3. 已 知 


(2-1)5=(3-2wv2)3=99-70w2 


1 1 
FY 2 +1) (3+2V 2) 


1 
”99+70w 9° 


请 指出 哪 一 个 公式 进行 计算 误差 较 小 ， 并 说 明理 由 。 

4, 举例 说 明 在 计算 机 上 有 (Ca +b)cae + be。 

5. 设计 一 种 计算 1xh, 的 算法 ， 其 中 xER"， 并 给 出 其 会 入 

6. x My 是 RR” 中 两 个 非 零 向 量 。 给 出 一 种 算法 ， 来 确 
定 一 个 Householder $H H, (78 Hx Cspan{y}. 

7. WERK: 如 果 x My 是 两 个 1 维 实 向 量 , 那 么 

detK7 +xyT)=1+xTy. 

8. 假定 xEC:。 给 出 一 种 算法 ,确定 一 个 如 下 形式 MPE 

RE 、 


o=| ， l, cER, œ+js|’=1, 


使 得 Qx 的 第 二 个 分 量 为 零 。 
9. 假定 * 和 2 是 及 "中 两 个 单位 向 量 。 给 出 一 种 使 用 Givens 
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变换 的 算 歧 ， 来 计算 一 个 正 交 和 气 阵 Q@， 使 得 Ox = y。 
10. 傅 定 一 个 3x 3 的 Gauss PRL, EA 

2 2 | 

4 


8 


L 
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第 三 章 ”线性 方程 组 的 直接 解法 


$1 线性 方程 组 的 条 件数 


在 第 二 人 章 中 我 们 曾 对 一 个 矩阵 计算 问题 的 病态 性 这 个 概念 作 
了 概略 的 定性 说 明 。 现 在 我 们 来 考虑 如 何 对 线性 方程 组 的 病态 程 
度 作 出 定量 估计 。 
AE R” BIERRA, bE RR"。 我 们 来 考虑 线性 方程 组 
Ax=b (1.1) 
之 解 x 对 数据 AF bP bE. Ak, Ban Pw 
含 参 方程 组 | 
(A + edA)x(e) =b + 66b, x(Q) =X, (1.2) 


Hp AER”, bE R”, e 充分 小 。 显 然 ， 在 s = 0 的 充分 小 的 
邻 域内 xCs)= (A +A) (+s60) 是 8 的 可 微 向 量 (AEA. H. 
Sy 
#(0) = AICEL ~ 6Ax), (1.3) 
(1.3) 代 和 xz) 的 Taylor RA 
o x(é)= x(0) +e%(0) + OC’), 
并 取 范 数 ， 可 得 


ER eta te ated bce, aa 


其 中 的 矩阵 范 数 是 由 相应 的 向 量 范 数 诱导 出 的 算 子 范 数 , 现 定义 
KCA) = ANAT, (1.5) 
并 利用 不 等 式 
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IIIS IAN I, 
由 (1.4) 可 得 
x(e)— A l 
SpE A [pet a e aw 
(1.6) 表明 ， 解 x 的 相对 误差 大 约 是 4 与 b 的 相对 误差 之 和 
的 x(4) 信 。 从 这 个 意义 上 来 讲 ，x(4) 的 大 小 反映 了 方程 组 (1.1) 
之 解 对 微小 扰动 的 敏感 程度 。 因 此 ， 我 们 称 KOA) 为 线性 方程 组 
(1.1) 的 求解 问题 的 条 件数 。 常 用 的 是 对 应 于 7 范 数 的 条 件数 ， 
通常 记 作 rpC(4)， 特 别 当 p=2 时 称 作 谱 条 件数 。 关 于 条 件数 的 
一 些 最 基本 的 性 质 可 总 结 为 如 下 定理 。 
定理 1.1 i Ac R” "JER He. M 
(1) KCA)S1, K(A)=xKC(A7!), KCA)=KCQA), a0; 
(2) K (A) =0,(A)/on(A), HP o CAA on (A) 分 别 表示 
4 的 最 大 和 最 小 奇异 值 ; 
(3) 车 4 正规 ， 则 
A = me, AL ail AD 
(4) FA AE RARE, Mif CA) = 1s 
(5) x (CA) RAH BA, BI 
KCA) =K AUA) =K CAU), VUE Ha. 
证 明 留 作 练 习 。 
定理 1.1 的 (3 表明 ， 对 于 一 个 正规 Reema, AK OBA - 
件数 的 充分 必要 条 件 是 特征 值 的 模 最 大 者 与 最 小 者 之 比 “ 大 ”。 但 
这 对 一 般 方 阵 来 讲 是 不 成 立 ， 即 使 特征 值 都 相等 ， 它 的 条 件数 也 
可 能 很 大 。 例如 


A= 2 ERO (1.7) 


1 
TT 


. 的 特征 值 都 是 1， 而 xs(4) 盖 209。 
第 二 章 曾 考 察 过 的 例 2.1， 其 系数 矩阵 4 是 对 称 正 定 的 , 它 的 
最 大 和 最 小 特征 值 分 别 为 41 = 2 和 =0.002， 因 此 由 定理 1.1 的 
(3) 知 ， 其 谱 条 件数 为 x:(4) = 1000。 这 表明 其 系数 GRRE 
数 是 很 大 的 ， 因 而 才 会 出 现 其 解 对 扰动 十 分 敏感 的 现象 。 这 进 一 - 
步 说 明 ， 条 件数 的 大 小 确实 在 一 定 程度 上 反映 了 线性 方程 组 求解 
问题 的 病态 程度 。 
因此 ， 当 *(4) 很 大 时 ， 我 们 就 说 线性 方程 组 〈1.17 的 求解 
问题 是 病态 的 ， 或 者 说 矩阵 ALAA, DR BA. 
”由 范 数 等 价 定理 可 知 ， 对 于 任意 两 个 不 同 范 数 定义 的 条 件数 
ko(。) 和 xp(。)， 必 存在 两 个 正 数 cf 和 co EE 
cro CA) KKa A) on A), VAERR”. 
因此 , 若 一 个 矩阵 4 在 a Fe BR ASAD, BM (ARK, Wl xs(4)/ea 
亦 很 大 ， 其 中。 是 与 4 无 关 的 正 数 ; 反 过 来 ， 若 A 在 8 范 数 
下 有 x*p(4) 很 大 ， 则 csr。C4》 亦 很 大 ，cs 亦 是 与 4 无 关 的 正 数 ， 
从 这 个 意义 上 来 讲 ， 一 个 矩阵 病态 与 否 与 具体 的 范 数 无 关 。 
一 类 十 分 典型 的 病态 矩阵 是 所 谓 的 Hilber 矩阵 ， 其 定义 为 


| 1 1 l 
1 E A 二- 
2 3 
1 1I 1l 1 
A,= 2 3 4 n+i 
1 1 dg 1 
n n+] n+2 27 一 ] 


其 条 件数 «CH, wed hee n 的 增加 而 非常 迅 速 地 增加 。 因 此 ， 
其 阶 数 越 高 ， 病 态 程度 就 越 为 严重 。 
定理 1.2 ACR" EAH, FCR* 4ER. Wie GAC 
RelA sAl<i. Ax Aix + bx 分 别 是 方程 组 
Ax=b 和 (A+6A)(x+6x)=b+6b 
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的 解 ， 则 


16xj x ffeAl ao 
| ier Ay + PT) (1.8) 


Herp r= KC A) = APA], SBE ji Be oe: ee AA AY De eG T H 
的 算 子 范 数 。 
证 明 注意 到 
A+t6A=(I+5AAN)A 


和 
[LAATIJA ATIL, 


据 第 一 章 的 定理 3.7 和 定理 3.9 知 ，A +6Ah BM, MH. 


-io l 
ICI +6AA ISD pA jTA T. 1.9 


因此 ， 
x+6x=(A+6A)7!'(b 4 5b) 


=(A+6A)1b+(A+68A)18b, 
将 x= ADRA ER, JF BG, AIA 
6x =((A+6A)1-A™*]b + (A +6A)78b, 
上 式 两 边 取 范 数 ， 可 得 
joxs] TCA +A) Ab + CA 4 ADT Pedy 
(1.10) 
利用 恒等式 
(A +AT- AT = -AT+544-0-164A4-L， 
并 注意 到 不 等 式 (1.9)， 可 得 
ICCA +64) - Amb] = JAC + 6AA) “1G Ax] 
<A +6AA7) ISAT x] 


[eA A-] 
Sr- jaapan l 


(1.11) 
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”而 利用 不 等 式 (1.9)， 又 可 得 
(A+ 6A) = PATI AAT D] 


14>] 


oroli. (1.12) 


将 (1.11) 和 (1.12) 代 和 (1.102， 即 得 


A! 
laxl< pag aap eA +e C1.13) 


(1.13) KAARLI JEZ 
lè] = JAx|< fA] [x {fs 

就 有 

Al aA o + AN 

lxil ~L- eA AT LAA [ot a’ 
BNC).8) 成 立 。 

1.1 定理 1.2 的 证 明 过 程 亦 证 明了 :， 如果 AC RY, 

SACR™ "满足 164NA <1, W A+A ape, IFN 


3AN 
ICA+ SAD AT] AI 
[A gli 
[Al 


这 表明 x = KA) = JALAT 4 亦 可 作为 矩阵 求 逆 问题 的 条 件数 。 


§2 基本 解法 的 回顾 


BAC R"*"* 非 奇异 ，bE R"。 这 一 弟 我 们 来 简要 地 复习 一 下 
求解 线性 方程 组 : 


Ax =b l (2.1) ~~ 


的 最 基本 解法 
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2,1 Gauss 消去 法 


大 家 熟知 ， 当 4 是 稠密 乍 阵 时 ， 目 前 求解 (2.1) 的 最 有 效 方 
法 是 选 主 元素 的 Gauss 消去 法 。 因 此 ， 我 们 首先 来 复习 这 一 方法 
的 要 点 。 
1. Gauss 消去 法 的 基本 步骤 
C1) 利用 Gauss 变换 求 4 的 LU DR: 4=ZLL， 其 中 世 是 单 
位 下 三 角 阵 ， 忆 是 上 三 角 阵 ; 
(2) KAR Ly=6, 4 y; 
(3) 求解 VCx=y， 得 (2.1) 的 解 x 。 
这 一 方法 虽然 简单 易 行 ， 然 而 它 却 有 两 个 致命 的 弦 点 ; 
C1) 适用 范围 小 。 能 够 对 A 进行 LU 分 和 解 的 前 提 是 4 从 1 到 
n— TBE SE PRR AS A. AE., 
0 1 
Al ol 
这 样 一 类 非常 良 态 〈 条 件数 CAD =1) WABE, EEEE LU 分 
解 。 . 
(2) BUR Race EAE. PRES OT AOR RR Ae, FR Gauss 消去 法 
计算 得 到 的 解 名 满足 
(A+E)z=), 
其 中 
LE} -ne{3| A| +5ILII0|}; +0Ce), 
这 里 元 和 和 忌 分 别 是 区 和 蕊 的 计算 结果 ，# 是 机 器 精度 。 由 于 其 中 . 
的 | 元 1 可 以 很 大 ， 因 而 数值 稳定 性 差 。 
理论 分 析 的 结果 表明 ， 产 生 上 上 述 两 个 问题 的 主要 原因 是 零 主 
元 泰和 小 主 元 素 的 出 现 。 因 此 ， 选 让 元 素 的 Gauss 消去 法 就 随 之 
而 产生 。 
| 2. DEA i Gauss 消去 法 
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CL) 求 排列 方 阵 P,Q 和 分 解 : 
= PAQ=LU, 


其 中 是 上 三 角 和 矩阵 ， 上 = [站 为 满足 | ;| 三 1 AEEA 
Be. 

(2) 将 (2.1) 分 解 为 四 个 简单 易 解 的 方程 组 进行 求解 。 

这 样 做 的 结果 是 弥补 了 不 选 主 元 素 的 Gauss 消去 法 的 不 足 ， 


然而 付出 的 代价 也 是 极其 昂贵 的 。 因 为 选 主 元 素 必须 进行 Dk 
k=1 


-n RPA TCH ZY EES A RH, KEHA 机 上 是 
相当 费时 间 的 。 为 了 尽 可 能 地 减少 所 进行 的 比较 ， 人 们 提出 了 所 
谓 的 部 分 选 主 元 素 的 Gauss 消去 法 。 

3. 部 分 选 主 元 素 的 Gauss 消去 法 

在 全 选 主 元 素 的 Gauss 消去 法 中 ， 只 需 取 O = 了 即 可 , 即 只 在 
当前 的 列 中 选 主 元 素 ， 而 不 涉及 其 他 元 素 。 

”实际 计算 的 经 验 和 理论 分 析 的 结果 都 表明 ， 部 分 选 主 元 素 的 
Gauss 消去 法 与 全 主 元 的 Gauss 消去 法 在 数值 稳定 性 方 面 完 全 可 
以 媲美 ， 但 它 的 工作 量 却 大 为 减少 〈 只 需 进行 (n -1)n/2 次 两 个 
元 素 之 间 的 比较 即 可 ) 。 因 此 ， 它 受到 了 人 们 的 青睐 ， 成 为 求解 
中 小 型 稠密 线性 方程 组 最 受 欢 迎 的 方法 之 一 


2.2 Cholesky 分 解法 

对 于 一 般 方 阵 ， 为 了 消除 LU 分 解 为 局 限 性 和 误差 的 过 分 积 
累 ， 而 采用 了 选 主 元 素 的 方法 。 但 对 于 正定 第 阵 而 言 ， 选 主 元 素 
却 是 完全 不 必要 的 。 

设 线性 方程 组 (2.1) 的 系数 矩阵 4 是 对 称 正 定 的 。 此 时 ,求解 
《2.1) 的 行 之 有 效 的 方法 是 所 谓 的 Cholesky 分 解法 ， 其 实质 是 不 
选 主 元 素 的 Gauss HAVE. Cholesky 4> MEM BAA Ran: 

(1) SAB Cholesky 分 解 : 4= GGT， 其 中 GG 是 对 角 元 素 均 
为 正 数 的 下 三 角 阵 ; 
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(2) RAR Gy=6, Y; 

(3) KR Gx =y, x., 

在 实际 使 用 时 ， 计 算 4 的 Cholesky 分 解 是 采用 如 下 方式 进行 
的 。 

先 验 地 记 


oe 0 ] 

G= | Jz: 922 7 | 

| Gni ne %* Jnn- | 

然后 比较 A= GGT 两 边 对 应 的 元 素 ， 得 关系 式 


J 
aj > GikGik» [Tay ssTS 
k= 1 


由 这 一 公式 ， 可 以 逐 列 求 出 9g; 5; OAS WT aD. 

应 用 Cholesky 分 解法 求 对 称 正定 方程 组 ， 在 数值 稳定 性 方面 
完全 可 以 与 全 选 主 元 素 的 Gauss (j ARR, MEER EAA 
是 Gauss 消去 法 的 一 半 ， 并 且 省 去 了 元 素 之 间 的 比较 和 相应 的 还 
HAR. lit, Cholesky 分 解法 是 目前 求解 中 小 型 稠密 对 称 正定 
线性 方程 组 的 最 佳 方法 之 一. 


$ 3 对称 不 定 方程 组 的 解法 


上 节 已 经 讲 过 ， 用 Cholesky 分 解法 求 对 称 正定 方程 组 时 , 运 

算 量 仅 是 Gauss 消去 法 的 一 半 。 那 么 ， 对 于 对 称 不 定 方程 组 ， 是 

否 亦 可 利用 对 称 性 而 给 出 1Cholesky 分 解法 运算 量 相 同 的 数值 解 

ENE? 答案 是 肯定 的 。 这 -- 节 ， 我 们 就 来 介绍 这 方面 的 一 个 较 好 
设 AE SR"*" 非 奇 异 ，?E R"。 性 虑 线性 方程 组 

Ax=b, (3.1) 
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对 于 给 定 的 ACSR***, MRE LU 分 解 

A=LU, (3.2) 

其 中 工 是 单位 下 三 角 阵 ， 避 是 非 奇 异 的 上 三 角 阵 ， 则 易 知 (3.2) 
可 以 写成 如 下 形式 

A= LDL", (3.3) 

其 中 马 是 由 UU 的 对 角 元 素 构 成 的 对 角 阵 ， 通 ROB. 3) WHER 

BERI LDLT 分 解 。 这 样 ， 我 们 自然 会 想到 通过 求 4 的 LDLT 分 解 

”来 求解 (3.1)。 然 而 ， 在 A 非 正定 的 情形 下 ， 这 样 做 与 不 选 主 元 

素 的 Gauss 消去 法 一 样 是 不 适 用 的 ， 必 须 进行 必要 的 主 元 素 选 

取 。 但是， 列 选 主 元 素 或 全 选 主 元 素 势 必要 破坏 A 的 对 称 性 。 因 

此 ， 为 保持 对 称 性 ， 我 们 必须 对 行列 施行 同样 的 对 换 ， 即 应 选取 
排列 方 阵 尸 ， 使 

PAP'=LDL', (3.4) 

其 中 工 = (1, JARI, |S FS, DARME., 不 幸 的 

是 ， 一 般 来 说 这 样 的 排列 方 阵 并 不 一 定 存在 。 例 如 ， 


p |107” 1 | 1 
| 1 107% 1 107'° 


对 一 切 的 排列 方 阵 都 成 立 ， 但 


10 1 | [1 olf 0 1 10° 
1 107% 10® 1 o 10 一 100 ri | 


其 中 的 单位 下 三 角 阵 的 左下 角 元 素 10'S 1, 
基于 上 述 原 因 ，Aasen (1971) 提 出 了 求解 (3. 1) 的 如 下 方案 : 
(1》 求 分 解 


PAPT= LTL", (3.5) 


其 中 工 = [i; yj] 为 满足 | | 1 的 单位 下 三 角 阵 , P 是 排列 方 阵 ， 
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T ett BR = Ht ABE 
(2) 解 方程 组 Lw= Pb, Tz=w, LTv=z RI Pxr=v, 

”实现 这 一 方案 的 关键 在 于 实现 分 解 (3.5)。 至 于 (2) 中 的 四 个 
方程 组 ， 除 Tz= w 外 ， 都 是 很 容易 求解 的 。 而 对 于 Tz= w, 由 于 
人 是 对 称 三 对 角 和 矩阵 , 故 可 不 管 其 对 称 性 利用 部 分 选 主 元 的 Causs 
消去 法 仅 用 O(C) 次 运算 就 可 求 得 它 的 解 。 因 此 ， 下 面 我 们 就 臻 
力 于 分 解 式 (3.5) 的 实现 。 

类 比 于 LU 分 解 的 实现 过 程 , 我 们 自然 想到 利用 稳定 的 Causs 
变换 将 4 逐步 约 化 为 对 称 三 对 角 阵 而 实现 分 解 式 (3.5)， 
记 7T。= A， 并 假定 对 某 个 自然 数 k，1 三 kn 一 2， 我 们 已 求 
得 kk 一 1 个 排列 方 BE Piste Ppi MI K-1 4 Gauss WHR Mit, 
Mx-1， 使 得 
My-iPe-it*MiP; API MPH ME =T II (3.6) 
HHT, 1 具有 如 下 形状 


Tk-1= TiU TROU | (3.7) 
k-17 . 
OETH TH” jae 
k n—k 
这 里 TE PE SRO PEO, Tr? A an FH SBR et A BF 
a, Bp 0 
TE Va [he Me |, (3.8) 
*~ ot. Be 
0 Pk ak 


(Ty UT = TE- 1) = Lo Up TE Rit kk, (3.9) 
-1 1 


Vr-_1= COIR) ee OR IU YT ES R*--, 


FHA k 步 是 : 
G) 确定 指标 9 ， 使 得 | 
Io- D| = max{ |g K-V] ee, |}; (3.10) 


Gi) 取 Py 为 第 一 行 与 第 4 行 交 换 的 m -天 阶 初等 交换 和 矩阵， 
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并 记 
By = CER) eee ER YYTS Pry, (3.11) 
P, = diag(I k, Pg); 
(iii) RM, n-k fr Gauss 变换 


= < Fik) . i _ 
My = Ing ~ COs ban, ,Te JT 


’ (3.12) 


其 中 UO seas k- o/k 1), t= 2,3,°°,n—k, 并 令 


M, = diag(I k M p); 


Gv) 计算 
1 Gear UE _ _ 
上 Uy Tk) 一 M pP TE PIM]. (3.13) 
n-k—1 22 
. 1 n-k-1 
如 果 我 们 记 
rT (3.14) 
k 9 ‘ 
Te TA ako] 
k+i n—-k--1 
其 中 
ray Be 0 
Th = ! f i É , Brix Ck, 
| ， ak = Bari 


-0 Beri Qkrl- 
` 
(TKT = TY) = f0,0, ]E R-k-1)xtk+ 1), 
k 1 


WA k 步 就 相当 于 把 Ti 约 化 为 Te， 即 
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7 MiPiTy PIMT=T,, (3.15) 
XH, MT 出发， 经过?-2 步 就 可 把 4 约 化 为 对 称 三 对 角 和 扰 
阵 。 现 在 令 | 


L= Mi's Ao= 4， (3.16) 
Ly = PablyeiP,yMy', K= 2,00, n- 2, (3.17) 
A,= PrAxr_iPrs K=1,2,°%,n-2, (3.18) 
L=Ln-2» T=Ta-2» P= Po-Pa (3.19) 
则 易 知 (3.15) 用 现在 的 记号 即 可 写成 | 
Ag=LyT, Li, k= 1,2,0,n-23 (3.20) 


特别 ， 对 大 =Pm-2， 有 

PAP? = An_o= La_oTn_2L3_2= LTL’". 
因此 ， 只 要 证 明了 上 = L,_: 是 所 有 元 素 的 绝对 值 均 小 于 1 的 单位 
下 三 角 阵 ， 则 我 们 就 已 求 得 了 分 解 式 (3.5)。 事 实 上 ， 从 LxLi 的 
定义 ， 用 归纳 法 可 证 它 具 有 如 下 形状 


LE 1} 0 k 
Lp = (k=2,». n-i , (3.21) 
天 一 】 Like 1) Ink a ) 


-k 
k R- k 
1 
0 1 0 
LE 1) ~ 0 iky 13 1 > 
(k-1} (k-1) 
0 Lik, ” Lie} 1 
ik- 3) 
0. ye “ee Leite 
k ) 1 
Lik v= 0 Eaz “ee HEGY. 
21 = 9 


学 自沉 tes eas Beg FOG CHE CES COR CAB See 


. - 4) -1 
0 Lik; vee LY 
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HU Py <i. 
由 Li = Mi! 和 Mi 的 定义 立即 知 (3.21) 对 k=2 成 立 。 现 假 
定 对 ~1 已 证 (3.21) 成 立 ， 则 
~ Lx= PRL -1P EM, 


| Ie 0 |E? 0 Ik O lll, 0 
0 P, LEP In-k 0 P, 0 Mg’ 


7 LY 1) 0 | 
一 PL? Mp . (3.22) 


l 0 
Lk) a 1 1 | 


M;'= : 0 vey | 
Lk), 0 - 0 1 


HIE; = LEK 2 DT 去 1， 故 (3.22) 表 明 (3.21) 对 k 亦 
成 立 ， 于 是 ， 由 归纳 法 原理 知 ，(3.21) 对 = 2,…,n 一 2 都 成 立 ， 

顺便 指出 ，(3.22) 亦 说 明 我 们 可 从 Li = Mi 出 发 , 一 步 步 很 
容易 地 把 工 = La, RHR. 

现在 ， 我 们 来 看 这 样 实现 分 解 式 (3. 5) 的 运算 量 是 多 少 ， 从 
上 述 实 现 过 程 可 以 看 出 ， 每 步 的 主要 工作 量 是 (3.13) 的 计算 。 而 
完成 这 一 计算 最 经 济 的 方法 也 需 运 算 量 (n - k., KAE, 整个 过 程 
所 需 的 运算 量 是 m3/3， 这 与 Gauss 宵 去 法 的 运算 量 一 样 ， 而 比 我 
们 所 希望 的 运算 量 多 出 一 倍 。 

仔细 观察 上 述 过 程 可 知 ， 其 第 上 步 确定 排列 方 阵 Pi 和 Gauss 
变换 M, 时 ， 只 涉及 到 向 量 ww -的 信息 ， 而 并 不 需要 个 外 的 
信息 ，Aasen 正 是 注意 到 这 一 点 ， 给 出 了 不 需 明确 求 出 了 网 !，， 
而 直接 计算 +, 的 方法 ， 从 而 使 运算 量 大 为 减少 ， 

现在 很 定 Lx-! FA, 已 确定 ， 并 假定 Tri 左上 和 角 的 对 称 
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EAM PET? 除 ax 之 外 其 他 元 素 都 已 确定 。 我 们 来 考虑 如 何 
根据 这 些 已 知 信息 来 求 出 v4-; Bl ay 及 Base 


从 (3.20) 可 得 
Aya = Lk-Tk-iLk-1 
LD 0 TE? THEY ECL PP CL D7 
g LYE? In-k TE, 1) TRY 0 ; Tn-_x 


LE OTE De ptk- yt | * . 
-| Dr 4 th . (3.23) 


LY PTE, i) +T% YyCL&- WT * 
ERATA Y= [0al WLS? 是 单位 下 三 角 阵 ， 即 知 
Tee OLEY VT- TE Da 
这 样 ， 比 较 (3.23)? 两 边 和 矩阵 的 第 K DIAG n-k SICH I 


ntk-1).. 
kek | 


ik- , 
alk, _ - - 
Frk =L% tk, Donk, DYTeik?) tupie (3.24) 


~ ak 
id l 
TH VLE OTe = Erste Ep), (3.25) 
则 (3.24) 可 写成 
人 ~ SRE i= ]1,2,°+,n—k, 


(3,26) 
再 比较 (3.25)? 两 边 的 元 素 ， 可 得 


E= Bibi D, 
č; = Pi Lik; ea, UE; p+ Bian eit» t= 2,%,k-1, 


Ek = pyle tay, 
(3.27) 


注意 公式 (3.27) 中 含有 待 求 的 量 a; 。 因 此 ， 由 (3.27) 还 不 能 确定 
Ex。 党 运 的 是 ， 比 较 (3.23) 两 边 矩 阵 的 第 个 对 角 元 素 ， 可 得 


Ek = 0 他 — Siti DE, (3.28) 
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这 样 ， 我 们 就 可 根据 已 知 信息 ， 由 (3.27) 的 前 5- 1IL 个 等 式 确定 
5 PEG. 28) 0h 6,3 然后 再 由 (3.26) 就 可 确定 向 量 
Vv-1 的 7 一 大 个 分 量 . 

田 外 ,(3,27) 的 最 后 一 个 等 式 , 也 给 我 们 提供 了 计算 «的 公式 

iis k=1, 
p ex Belial, k>1, 
其 中 ci 是 4 的 第 一 个 对 角 元 素 ， 

求 出 oz 之后, 我们 就 可 由 (3.10)，(3.117) 刊 (3.12)7 确 定 
ve WRADE SS ?, HES P, 和 Gauss 变换 Mp, 同时 也 
确定 了 Bea = 全-0。 然 后 由 (3.18) 和 (3.22) 求 得 Ak FIL. A 
此 进行 2-2 步 之 后 ， 就 可 从 A。= 4 出 发 递 推 地 求 得 工 , 工 和 己 ， 
而 且 容 易 算出 这 样 实现 分 解 (3.5) 的 全 部 工作 量 是 ns/6。 

此 外 ， 在 实际 计算 时 ， 我 们 可 将 工 存 放 在 4 的 下 三 角 部 分 ， 
P 以 因子 形式 存放 〈 即 存放 P: 的 对 换 指 标 ) ， 了 人 的 对 角 元 素 和 
次 对 角 元 素 分 别 存放 在 A 的 相应 位 置 上 。 例 如 ，n= 6 时 ， 计 算得 
HAI LAT 有 如 下 形状 


ak (3.29) 


-1 J 
0 I 
L= 0 la 1 , 
0 Lle lhg 1 
LO lsa lss la 1 
LO le le la los 14 
a, Be 
P2 a By 
T= Bs 0 Pa . 
By % Bs 
Bs as Be 
Be ag 


我 们 可 按 如 下 方式 存放 工 和 7 : 
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lss lss Bs Qs 
lsz lss les les Ba os 

由 上 面 的 讨论 和 所 设计 的 存储 方案 ， 可 得 求 分 解 式 (3.5) 的 
算法 如 下 : 


算法 3.1 

(LD) MA A=[a,;]) k=l. 

(2) 1 一 0， 
i ae (f= 2,+,k—1), 
lp:=l, 


E= alir tiili +0;.,5l 541 (f= 2 天 一 1)， 
k-1 
Ek =a Dlitie 
k=2 : 
(3) nR k>1, Mj akk =Ëk- yp lpr. 
(4) mR k<n, P 
7 
Fis, 人 ai (= 天 二 TD 
了 = 2 
否则 转 步 (9) 。 
(5) 如 果 K<n 一 1， 则 确定 下 标 9(E+I 和 9 入 2)， 使 得 
[Sq] = max{ | kails fal}, 


H pk:=4《〈 记 录 交 换 阵 Pk); 否则 转 步 (8)。 
(6》 交 换 Ske 和 ta， Akry FI agi = lyen) DAR yeas 
和 ayg(〈7= 天 二 17)。 
C7) BOR xs0， 则 
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Qi 一 [CI 
否则 
ci 一 0 (= 大 二 2)。 
(8) Onepete fear, :一 TIL， 转 步 (2) 。 
《9) 输出 有 关 人 信息， 结束 。 


这 一 算法 本 质 上 与 部 分 选 主 元 素 的 LU 分 解 是 一 样 的 ， 因 此 
它 是 数值 稳定 的 ， 但 它 的 运算 量 却 仅 是 LU 分 解 的 一 半 ， 


§4 Vandermonde 方 程 组 的 解法 


这 一 节 ， f RIK jë Vandermonde 方程 组 
Vz=b (4.1) 
的 求解 问题 ， 其 中 z= (Zpen Z T ER" A MIE, b= 
(Boos fa TE R”! ZEAE, V 是 Yandermonde 4E pE 
1 1 = 1 
Xo XI Xn 


VV xn) = xi e h D 


n n Tt 
Xo x l eas Xn 


这 里 xX0,X1,* Xn 是 给 定 的 n+1 个 互 不 相同 的 实数 。 
注意 到 Vandermonde 方程 组 与 多 项 式 播 值 之 间 的 密切 关系 ， 
我 们 就 可 设计 出 运算 量 仅 为 到 的 求解 (4.1) 的 数值 方法 。 
大 家 知道 ， 多 项 式 插 值 就 是 ， 给 定 函 数 y=f(*) 在 n+1 个 
不 同 点 x; 处 的 函数 值 y，(i= 0,1,2,…,n)， 要 求 构 造 一 个 次 数 
不 超过 1 的 多 项 式 


PCX) = apx” + ap X] + eee OIE ags 


tE POOT RR x: 处 满足 
px) =f (2;)= Y, i= 0,1,°*,7, (4.3) 


ù 
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将 其 用 矩阵 向量 的 语言 表述 出 来 就 是 ， 求 问 量 "= (agg ag TE 
及 ”…， 使 得 
; VTu=y, (4.4) 
其 中 Y 是 形 如 (4.2) 的 Vandermonde iB}, Y= (Yose, Yn)". 
根据 插值 多 项 式 的 理论 知 ， 存 在 唯一 的 多 项 式 满 足 〈4.3)， 
并 且 P(x) 的 系数 00,91,…,an 可 分 两 步 求 得 : 
(1) 求 p(x) 的 Newton 表达 式 


n k-1 
P(X) = Cy + See [xz=-xy); (4.5) 
k=1 420 


(2) 将 (4.5) 按 > ft) He RRIF 即 得 p(X) 的 系数 CoyCIyC2y 9 
One . 
根据 Newton 插值 多 项 式 的 理论 知 ,《4.5) 的 系数 ck 就 是 P(x) 
在 X09X1 "+X bh k NER. RRS, HEMP: 
P(x) 在 x; ,xX; 处 的 一 阶 差 商定 义 为 


p(x ;) — p(x ;) 
P(X aX I= YY ， i 53 


了 
P(x) Xost X 这 上 +1 个 互 异 点 处 的 ! 阶 差 商 定义 为 


x eae xX 一 x x eee Xx 
D(Xp tee gk, ) = Oe? mD LA oa) 
0 I 


因此 ，cx 可 以 递 推 地 求 得 。 例 如 ， 当 n= 4 时， 计算 过 程 可 列表 
如 下 : 


pls 上 G; 
pn) I| cy 
PEK Te 1 c4 
AP re ZP To ToT i 
PEK Pr 户 (zo 9. 
PEtat) Ptr Ler TEETE. 
一 一 ™ a 
plz) Plates Lat) 
Saens) 
一 4 + 
pa) 
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Up= (EE, EOT, kK=0,1,°*,n, 
其 中 
E(k) = Cis QO<t<ck, 
| PLX; EyresX;), k+l1l<ti<n, 
则 计算 过 程 的 第 k 步 就 是 将 向 量 up 变换 为 ui， 即 
Ux = Dg Lieur_ ys K=152,0,0, 
其 中 
Dy = diag( 1,1, — XosXe ar — Xis", Xn— Kn) 
Ly = Tk-i 0 ERT DaD 
“lo L 


l 0 
,= -1l 1 EC Rit kt 2m kee) 


C= Un= Da'LaDaliLa ite Di! Lit 
= Da'Ln* Di'Liys (4.6) 


FE P e= (09,012 Cn)T, Y= CPC XQ), t, PCXn) DT= (yo esynD)T。 

求 出 p(x) 的 Newton 表达 式 (4.5) 之 后 ， 可 按 如 下 方式 递 推 
地 将 p(x) 展 成 x MIBK: 

PrtxJ==Cn， 
DyCX)= Cy +(X XD (x), kK=n-I,,1,0, 
(4.7) 

HIH Cn 出 发 ， 按 (4.7) 递 推 地 计算 ni, BRAT RG p(x) = p) 
的 按 x 的 考 展 开 的 形式 ， 从 而 也 就 得 到 了 其 系数 25,01, 0, On 

id 


P(x) = AYO + ahh) ix + ove tale ky 
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比较 (4.7) 两 边 的 * 的 同 次 矫 的 系数 ， 可 得 计算 0 的 递 推 公式 


af = cny 
ae, epakta 
uy k “k“k+1 ? | (4.8) 
a = akt xy okt, fakt+1,wyn-1, 一 
i aak, 
(k= n—-I1,n—-2,°,1,0,) 
4 
vk = (OI, EOT, k=0;1,°,n, 
其 中 
Lk) = | Cis 0<1<k-1, 
i a, k<t<n, 
FES 
Ty: 7 
k 0 4 
4 ~ x, 0 
Up= Uu ， , : k=an-1,,0, 
0 0 _ -Xk j n—-k+1 
l1 一 
k n-k+] 
则 迭代 公式 (4.8) 可 写成 


ZK = UU k+» k= n-~1,n-—2,**,1,0, 


这 样 ，p(x) = poCx) 的 系数 作成 的 向 量 >= (C00,*… ,Qn)T 就 可 表 成 


v= UU ye U na = UUU n-e. (4.9) 
因此 ， 由 (4.6) 和 (4.9) 就 可 得 到 
y= ULy, 


其 中 
U=UUieeUn-1, L= DatLavDi'Li, 
另 一 方面 ， 从 (4， 4) 可 知 ， u= Vly, 于 是 便 有 
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VTy=ULy, . 《4.10) 
注意 到 这 里 的 Y= (Yos e., Yn) EAT EE 指定 的 ， 即 知 (4， 10) 2 
含 着 
VT=UL, 
Bp 
vV =LTUT, 
这 表明 我 们 已 经 求 得 了 Vandermonde 和 矩阵 了 的 逆 和 矩阵 VRR 
分 解 CTU7T。 由 此 我 们 就 可 很 容易 地 导出 (4.1? 的 解 为 
z=YV lb=LTUTb | 
= [DalLaeDi'LyJ’LU ot U a1 J"8 
=[L] Di eLA Da LUR- eUT] 
再 根据 Leo Dy, 和 Ux 的 定义 ， 立 即 可 得 求解 (4.1)? 的 如 下 算法 ， 
算法 4.1 
(1) 输入 原始 数据 ， Bost**sBns Xost Xns k:=0. 


(2) B: =B: Xx Bint (f=n, "K+ 1), 
(3) wÆ k<n-1, ij k:=k+1, €# 步 (2); 否则 进行 下 一 


(4) Bi:=B:/ (x; x, pa) (f=k+],-,n); 
BB, — Biri (t=k,--,n-]). 

(5) 如 果 ADO, M k:=k-1, HDs 否则 ， 输 出 有 关 信 
息 ， 结束 。 r | 

这 一 算法 的 运算 量 为 nx?， 且 将 方程 组 的 解 存放 在 6; 的 存储 
单元 里 。 | 

Bjérek—Pereyra (参见 文献 [191]) 曾 对 这 一 算 法 作 过 详 细 的 
分 析 。 他 们 的 结果 表明 : 这 一 算法 具有 较 好 的 数值 性 态 。 
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$5 Toeplitz 方 程 组 的 解法 


i A=[a; jE R”, MIRER Yi-nsYz-n»*s7-rVas | 
Yis tes Yn- 使 得 
Qi 了 Yi 1,7 三 1，2，…)1， 


则 称 4 是 Toeplitz 短 阵 ， 妈 如 果 A Æ Toeplitz 矩阵 ， 则 它 具 有 如 


下 形状 
的 Yı tee fen Vrn-1 
Voy Yo O° : 


> 
H 


: Yı 
| Yin oo ee Ply Yo 
由 此 可 见 ， Toeplitz REX FEM ARC-PA ER 是 对 RAY. 
具有 这 样 对 称 性 的 和 矩阵 通常 称 作 广 对 称 短 RF, BI 车 B=[p; ;jE 
RO" 是 广 对 称 的 ， 则 它 满足 
Big = Ba- iron irl， 1 1 = 1,2, 00,75 


X SOT BWE 
其 中 


B= EB'E, 


E=[enyen_1 e] | 
En BTR PP BR. HO RE EE BE: ARASH 
BEST AR aE BS eR ET RA | 
在 这 一 节 里 ， 我 们 假定 Tn€ 民 *"*" 是 给 定 的 对 称 正 定 的 To- 
eplitz RE., PAi JRE T: 具有 如 下 形状 


| ] Yı Ye Vn-1 
1 71 。 
Tn = Tey Ya . (5.1) 
对 称 "。 Yı 
1 
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而 且 在 下 面 的 讨论 中 ， 我 们 将 用 Ti 表示 Tv 的 上 阶 顺序 主子 阵 ， 
即 


1 Yı Yk-1ı 
、 y Te T 
T= ， ERE, k=1,2% n=l. 
. ` *, Yı 
Yk 1 Yı 1 


WR, Tr 亦 是 对 称 正定 的 Toeplitz HPE, 
下 面 我 们 分 三 部 分 来 讨论 系数 矩阵 为 了 * 的 线性 方 程 组 的 求 
解 问题 和 Ti!’ 的 计算 问题 。 


5.1 Yule-Walker 方程 组 


我 们 先 来 考虑 一 类 特殊 的 Toeplitz 方程 组 
TaY = -Vis tts Yn- Vn), (5.2) 
其 中 的 vot Yn WEG. LAS EBET 的 mn- 工 个 常数 ， a 
是 任意 给 定 的 实数 。 这 类 方程 组 称 作 Yule-Walker 方程 组 . 
由 于 这 类 方程 组 之 右 端 项 的 特殊 性 ， 所 以 若 记 Yk 为 k 阶 
Yule-Walker 方程 组 
TkYk = 7 (Vts Yk) CK= 1,2, 08,7) 


(5.3) 
之 解 ， 则 可 导出 由 yx 确定 ya 的 关系 式 。 为 此 ， 记 
z, |* 
| a, | ’ ThE CPi, Yp)" 
WY Tkt ker = — Viste Vie Ye) ADS LE 
Te = Ext e Zk | rk 
a apd] 
即 有 
. TkZk +t OR Ene, = -Tks | (5.4) 
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TEER Zh + % = Yk (5.5) 
其 中 Ex ÆR k ira. 
注意 到 Tx 是 对 称 正 定 的 Toeplitz 4 PE aR A Th Ek 
ExTix!， 人 了 从 (5.4) 就 可 得 


Zk STk C 1, — ERED 


= Yp +E RV ee 5.6) 
将 (5.6) 代 入 (5.5)， 并 移 项 整理 ， 得 
| (1 +rEYk)Ok = Ypi T TEERY ko (5.7) 
注意 到 
Te Eryx || Te ae) Ik Exvn | _ | Te 0 
| 0 1 La 0 aap L+rtyy | 


和 了 xi 的 正定 性 ， B41 +rpy, > 0。 因 此 ， 在 (5， 7) 两 边 同 除 
Lhit+rivns Bl fe 
ap = — CV gr thE YSU + TERRY) (5.8) 


这 样 ， 我 们 就 找到 了 Yr t Yra 之 间 的 关系 。 从 而 ， 我 们 就 可 从 
一 阶 Yule~Walker 方程 组 的 解 y 出 发 ， 利 用 公式 (5.8) 和 (5.6) 
递 推 地 求 得 方程 组 (5.2) 之 解 ， 而 是 容易 算出 这 一 求解 过 程 所 需 
的 运算 量 为 32*/2，。 
此 外 ， 令 

Ox=1+triyx, KE=1,2,,7— 1, (5.9) 
则 有 

Diet = hte evs 
| Yr tIkEkYk | 


Ak 


= 了 十 (TE ,Vk + 1) 
=Ltrty, +O, (Ver t+ ThERYR) 
=(1—a4;)6,. (3,10) 
因此 ， 若 在 计算 ak 时 ， 利 用 (5,10)， 便 可 将 计算 ax 的 运算 量 减 
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少 关 -2， 从 而 就 可 将 整个 求解 过 程 的 运算 量 降 为 到。 
-综合 上 面 的 讨论 ， 可 设计 求解 (5.2) 的 算法 如 下 。 


算法 5.1 


C1) 输入 原始 数据 : Vis Vas ***oV ne 
(2) 61:= Vay 6:=1, @=—-y,, k:=1, 
(3) 6:=(1 —a*)6, 


. k 
a= (Yee + Drea )/ 8 
i= 


Fal + Oey ais F=1,2,0,k, 
eae i= 1,2,-+,k, 
Cee =a, 
(4) 如 果 k 二 n 一 1， 则 :=k+1， 转 步 (3);， 否则 输出 (5.2) 
之 解 y= Crises Sa, SER, 


5.2 一 般 右 端 项 的 Toeplitz 方程 组 
现在 我 们 来 考虑 一 般 右 端 项 的 Toeplitz 方程 组 
Tax =b, (5.11) 
Hp b= lonng TE R” 是 已 知 向 量 . 
” 类似 于 Yule-Walker 方程 组 的 求解 过 程 ， 假 定 xkE R* 是 k 
阶 方程 组 
TeX = (Biss Bed? (k=1,2,°*,n) 
之 解 ， 则 有 


Xp 十 Hyp Ey 
aaz] k i Ree | (5.12) 
k 


其 中 内 Ab k WY Yule-Walker 方程 组 (5.3) 之 解 ， Er k Br Be Fe 
单位 阵 ，K 由 下 式 确 定 
Be = Beri— ThErXED/ +riyr), (5.13) 
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IXE Te = Cry 97D, 
这 样 ， 我 们 便 可 从 x: 出 发 递 推 地 求 得 (5.11) 之 解 。 这 一 
求解 过 程 可 总 结 为 如 下 算法 ， 
算法 5.2 
C1) 输入 原始 数据 Yit Ynis Bist» Bn 
(2) i= -Yp i=’ S=1, a= -Yy k=l. 
《3) 5 一 (1 一 到)0， 
， k 
w=( Bess Drite) / 2 
v=; +u kin =l, 21k, 
i=; t= 1,2,.",k, 
vests 


(4) mR k<n-1, Jl 


k 
ai= — (vrs: + Dlr- )/ 5 
i.l 


Oo; +a kuiro 1=1,2,+%,k, , 
č i=; '=1,2,-+,k, 
kta, 
k:=k +1， 转 步 (3); 
SW, WH x= CS. Fn, HE 


这 一 算法 的 运算 量 是 20. 
5.3 Toeplitz 矩阵 的 道 
最 后 ， 我 们 来 考虑 T's! 的 计算 问题 。 


设 
Tx! = Tna- 了 了 rirn li X v | 有 一 工 . 
rh-1En_1 1 yt oO 1 
R-1 1 
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FEMA y= (Ms Yn), En_!: 是 nl1 阶 反 序 单位 矩阵 。 由 


Tn-1 En-in-1 X U _ _ In-1 0 
， deme] Y ， 
ran_iEn-! 1 v o 0 1 


可 得 
Tn-1X + En-a" = Inis (5.14) 
Tn- + CEn_iTn_1 = 0, (5.15) 
rl .En-wto=l,. (5.16) ， 
由 (5.15) 可 得 
V=CEn_ 1 (5. 17) 


其 中 sni 4 n—1 Gy Yule-Walker 方 程 组 的 解 . 将 (5.17) 代 入 
(5. 16), 并 整理 ， 得 
oO=1/(1 +r Yn). (5.18) 
这 样 ， 我 们 只 要 求 得 n 一 1 阶 Yule-Walker 方程 组 之 AE Yno EÈ 
可 由 (5.18) 和 (5.17) 求 出 Ti! 的 最 后 一 询 和 最 后 一 行 。 
下 面 再 来 看 X =(E ; )] 所 具有 的 特性 . 从 (5.14) 可 得 
X=Tali—- TaliEn_ rn ww T= Talitvw r/o, (5.19) 
其 中 的 最 后 一 个 等 式 用 到 了 7TaEn-irn-i= o Enta 和 
《5.17)。 由 于 Taii= Ce; J RR, BACS. 19) aT 


= tne ni +v,v,/o 
= Engng tO GY 一 Diyn ji)AO， (5.20) 


Hv, 表示 ?的 第 i 个 分 量 。 这 也 就 是 党， 虽然 区 并 非 广 对 称 
H BERUR j 可 由 它 的 关于 东北 -西南 对 角 线 的 对 称 元 素 
“ni PAE. EER, RAT A A Tt 的 广 对 称 性 和 
(5.20)， 从 了 Ta! 的 边缘 出 发 ， 逐 层 向 内 计算 ， 求 得 Ti! 的 全 部 
元 素 。 为 了 清楚 地 了 解 这 一 过 程 ， 我 们 以 n= 5 为 例 来 说 明基 具体 
的 计算 过 程 。 

O 
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tt big big tis 
| For fon bag boy a 
T5*=] tar fsz Lag tay ta5 ， 
区 t42 fag ta a 
tsi bse bsg bs, ess 

第 一 步 ” 先 通过 求解 一 个 4 阶 Yule~Walker 方程 组 得 到 y, 
再 利用 (5.182 和 (5.17)? 求 出 了 5 的 最 后 一 列 和 最 后 一 行 元 素 :， ts 
三 bos tss = tsas las = tss bas = tsar tsss 然后 再 利 用工 的 广 对 
称 性 ， 即 知 | 

ba = bg, = tass big = ta tyss hyn = boy = bags b11 = bss 
这 样 ， 我 们 就 求 得 Ts'! 的 最 外 一 层 的 全 部 元 素 ， 

第 二 步 ” 利 用 公式 (5.20)， 由 第 一 步 所 得 到 的 结果 ， 可 求 得 
tatytazytsiyta 和 tx; 然后 再 利用 全 5! 的 广 对 称 性 即 知 t23 = tao 
Las = ba9t22= ti。 于 是 ， 我 们 又 求 得 了;! 的 第 二 层 的 全 部 元 素 。 

第 三 步 ” 利 用 公式 (5.20)， 由 第 二 步 所 得 到 的 结果 ， 可 求 得 
tas。 至 此 ， 我 们 就 已 求 得 了 75 的 全 部 元 素 。 

实际 计算 时 ， 由 于 Ta 既是 对 称 的 又 是 广 对 称 的 ， 故 只 需 计 
算 Ta! 的 倒 三 角形 部 分 的 元 素 即 可 。 如 ?=5 有 时 仅 需 计算 如 下 的 
9 个 元 素 即 可 、 


az Ek, RANT RIK Trh 的 算法 如 二 。 
算法 5.3 

(1) 输入 : Vis Yass Ynis 

(2) 用 算法 5.1 求 解 -1 工 阶 Yul 。 Walker 方程 组 


Tn-1¥= ~ (Yi; ees Yn Dn, 
得 y= C15 errs OS ha 
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(3) o:=1/ (1 + Sond r) 


V =OS n-i (£=1,2,°%¢,n-1), | 
Euo, 
Ejn g (7 = 2,10), 
1 一 2 。 
CA) £5 tHE gig- Ongni Vy) /0 
. (j=t tt ln- it 1). 
(5) akik] 则 i=i+1， 转 步 (4); 否则 输出 
有 关 信 息 ， EER. 
最 后 需 指出 的 是 ， 误 差分 析 的 结果 表明 : BAZAARS 
用 Cholesky 分 解 来 求解 上 述 三 类 问题 所 引起 的 误差 是 差不多 的 。 


因此 ， 这 三 种 算法 是 数值 稳定 的 。 有 关 详 细 情 况 可 参看 文献 
[37]. 


“$6 条 件数 的 估计 和 选 代 改 进 

对 于 一 个 给 定 的 线性 方程 组 ， 我 们 应 用 某 种 数值 方法 求 得 它 
的 一 个 近似 解 之 后 ， 一 个 很 自然 的 问题 就 是 ， 所 得 到 的 近似 解 的 
精确 程度 如 何 ? 如 果 和 精度 太 低 ， 如 何 来 改进 它 的 精度 呢 ? 这 一 
节 ， 我 们 就 以 列 选 主 元 素 的 Gauss 消去 法 为 例 来 讨论 这 一 问题 。 

6.1 条 件数 的 估计 

设 我 们 应 用 列 主 元 素 的 Gauss 消去 法 在 字 长 为 上 的 10 进 制 浮 
点 数 系 下 求解 线性 方程 组 

Ax=b, (6.1) 

则 实际 计算 的 经 验 表明 ， 通 常 我 们 所 得 到 的 计算 解 ?满足 
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(A+E)£=6, Hike wio, (6.2) 


需要 注意 的 是 ，(6.2) 并 不 蕴含 着 所 得 到 的 计算 解 4 已 经 是 很 精 
确 的 了 。 实 际 上 ， 此 时 利用 (1.6) 可 得 如 下 估计 


le 10T KA), (6.3) 


其 中 x 表示 方程 组 (6.1) 的 精确 解 。 

由 此 可 见 ， 如 果 kx-(4)<<10*， 则 由 列 主 元 素 的 Gauss 消去 
法 所 产生 的 近似 解 4 大 约 精确 到 小 数 点 后 上 - s 位 ， 

因此 ， 我 们 要 想 对 4 的 精度 做 出 估计 ， 就 需 估计 出 条 件数 的 
数量 级 。 | 

由 于 x<(C4) = YALA i 


PA].= max S712, 5! 


是 容易 计算 的 ， 故 佑 计 «CA Ay AREF HABA. 
当然 ， 我 们 可 以 借助 于 求解 7 个 线性 方程 组 
Ax, =€;, i=],2,%.,n, 

tH BIA = [xz xz xn 然后 再 求 出 上 4 中-。 但 这 样 做 所 需 
付出 的 工作 量 大 约 是 求解 4 所 需 工作 量 的 3 信之 多 ， 这 当然 是 得 
BER. 

- Cline, Moler, Stewart 和 Wilkinson(1979) (参见 文献 [26]) 给 
出 了 一 种 非常 实用 的 条 件数 的 估计 方法 。 这 种 方法 在 利用 部 分 选 
主 元 素 的 Gauss HARARE 2 的 基础 上 ， 再 增加 较 少 的 运算 量 ， 
MATA |. 的 数量 级 的 较 好 的 佰 计 。 其 基本 思 想 源 于 下 面 
的 基本 事实 ; 

| Ay=4d => |A™|.2>]y]~/]¢}.. 

如 果 能 够 选取 向 量 Ey | / id). RS RE He HAUT AT] 的 话 , 我 
MA Yield] REAM LAT]. iiit. B 知 , lylo idh 
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越 大 ， 估 计 就 越 精确 。 
那么 ， 如 何 选取 d ale y/o]. 尽 可 能 地 大 呢 ? 4 的 奇 示 
值 分 解 可 为 4 的 选取 提供 一 些 信 息 。 
设 A 的 奇异 植 分 解 为 
A=UZV", 
FEB U = (uy, eee tn JAV = [v 0, SE TS JE 38 Hi RE, 2 = 
diag (Osee, On), O> >>0,>0. ERDER" HEDERA 


A'd=b 和 Ay=d, 


Hb RASA b= 0;v;， 则 易 知 上 述 二 方程 组 的 解 分 别 为 
gril 


n n 
a; a; 
一 = t 
B= Qa gps M y= 2a Gites 
i j=} i 


如 果 4 是 病态 的 ， 则 一 般 应 有 其 最 小 奇异 值 ow 远 远 小 于 1 | 
因此 ， 只 要 1a | 不 要 天 小 ， aA 


papale] 和 pyjama, 
从 而 有 


Wie S ~ 


应 大 党 大， 根据 范 数 的 等 从 性， 进而 有 12IL/IaLL WRA, Hi 
接近 于 4 串 .。 而 选取 5 使 jan| 不 要 太 小 这 样 的 条 件 是 易于 满足 
的 ， 一 般 随 机 地 选取 即 可 。 

基于 上 述 讨论 ， 在 已 利用 部 分 选 主 元 素 的 Causs 消去 法 求 得 
分 解 PA= LU 的 基础 上 ， 我 们 可 以 设计 如 下 的 条 件数 估计 的 基 
本 方案 : 

(1) FIA]; 

(2) 对 随机 地 选取 的 bp ， 求 解 UTx=b; 

(3) 求解 LTd=x, Lz= Pd 和 Uy=2zs 
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(4) ko = Ale yl /dal:. 

实现 这 一 方案 的 关键 在 于 应 该 如 何 具体 地 选取 上。 要 使 R 
有 一 定 的 随机 性 ， 通 常 可 取 5 的 分 量 的 绝对 值 均 为 1 ， 即 将 5 的 
各 个 分 量 等 同 的 看 待 。 这 样 剩 下 的 问题 就 是 b 的 每 个 分 量 的 符号 
应 该 如 何 决 定 。 

从 前 面 的 分 析 可 知 ，4 在 v。 上 的 投影 越 大 越 好 ; 而 b 在 v， 
上 的 投影 越 大 ， 应 有 4 的 范 数 也 越 大 ，。 因 此 ， 我 们 应 该 选取 5 使 
2] - 尽 可 能 的 大 .从 实际 计算 的 经 验 知 ， 一 般 4 病态 时 ， 分 解 式 
PA=LU 中 的 局 常 是 病态 的 ， 而 工 却 是 良 态 的 。 所 以 要 使 1dl- 尽 
可 能 大 ， 应 选取 5b 使 UW x= 之 解 x FC ERI x. 尽 可 能 大 。 
为 此 ， 我 们 来 考察 一 下 形 如 UTs =b 的 方程 组 的 求解 过 程 . 


uy Hig Uin xy b, 
| Use lon Xa b, 

U =! 0 3 x= 9 = . 
o Unn Xn Dp 


则 UTx = b 之 解 x 可 由 如 下 算法 求 得 : 
C1) p;=0, t=1,2,°.,n; ki=1, 
C2) x= Cb, — BR) (Megs 
B= Bi +UkiXko on。 

(3) 如 果 k<n, Mk=kK+1, RPO) 否则 计算 结束 。 

从 这 一 算法 可 以 看 出 ， 要 使 1}xl- 尽 可 能 大 的 一 种 最 简单 的 
选取 方法 是 取 bk = -sign Bp; DARET E br AY IF 
号 不 仅 要 使 1xkil 大 ， 而 且 也 要 综合 考虑 受 其 影响 的 其 他 分 量 x,; 的 
大 小 ; 而 x; RKAS ituri AR, 因此 我 们 先 计算 

Ke = C1 - Pr)/uxks 
Xe = C-1L- Ba) /UEks 


n 
sg= x+ >; I8: +ugixkl, 
i=k+1 
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n 


sx = |xx| + >> [By + upsxils 


i=k+l 
然后 ， 如 果 sess WEF. = 1s 否则 选取 如 = 一 1。 
综合 上 面 的 讨论 ， 我 们 就 得 到 了 实现 基本 方案 中 第 二 步 的 算 _ 
法 如 下 。 
算法 6.1 
d) 输入 上 三 角 阵 U = [us 71. 
(2) 5: 一 0，i= 1 215 k=l. 
(3) =~ By)/Unns xpi=( — 1- Be) Urns 
BRB; tug XE, t=k +1, n, 
Bi:=B; tUpi Xps THR +1, em, KN, 


kid 


st=|xt|+ DD, 181|, 


i =k+l 
sz=|xix|l+ >) 18il, 
i=k+1 
(4) 如 果 sx 人 sk， M 


X= ks B= Bis. i=k+1, e,n; 
否则 
Xk Bi:=Bi, t=K+1,-,n, 


(5) mB ke<n, I k:=k+1, $ FGO: 否则 输出 x 结束 。 


由 于 基本 方案 中 的 其 他 三 步 都 是 很 容易 实现 的 ， 因 此 这 里 不 
再 多 述 ， 建 议 读者 作为 练习 。 写 出 详细 的 条 件数 估计 算法 ， 

大 家 已 经 看 到 ， 这 一 方法 的 推理 过 程 不 是 十 分 严格 的 ， 而 且 
很 多 地 方 是 依赖 于 实际 计算 经 验 的 。 但 是 大 量 的 数值 实验 表明 ， 
在 绝 大 多 数 情况 下 ， 它 都 可 给 出 x.(A) 的 数量 级 的 很 好 估计 ， 而 
且 估 计 只 需 再 增加 0(nz) 的 运算 量 即 可 。 因 此 ， 它 是 一 种 很 有 效 
的 方法 ， 其 相应 的 程序 已 被 收集 在 科学 计算 的 程序 库 中 。 
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6.2 sft 


如 果 我 们 已 经 判明 计算 解 2 的 精度 不 满足 要 求 ， 希 望 提高 它 
的 精度 ， 则 通常 可 使 用 下 面 的 算法 加 以 改进 、 


算法 6.2 

(1) x:=2, 

(2) r:=b -Ax( 用 双 精 度 计 算 )， 
(3) 求解 Ly= Pr， 得 y。 

(4) 求解 Uz=y， 得 >。 

(5) x:=x +z, 


(6) 如 果 x 已 达到 精度 要 求 , 则 输出 x ,结束 ， 否 则 转 步 (2)。 


注 6.1 在 上 述 选 代 过 程 中 ， 计 算 *=8- Ax 最 好 使 用 原始 数 
EA. 因此， 在 对 4 进行 分 解 时 ， 最 好 将 原来 的 4 保留 下 来 。 

注 6.2 ”实际 计算 经 HW. 如 果 4 病 态 的 并 不 严重 
(Cgk-(4)<1)， 那 么 利用 算法 6.2 进行 选 代 ， 最 终 可 产生 达到 机 
器 精度 的 解 ， 而 如 果 AJER NECE), 则 一 般 用 算法 6.2 
并 不 能 改进 x 的 精度 。 


习 题 
1. 应 用 算 靶 3.1I 于 算 阵 
041 2 
4 2 5 8 
A= 。 
1501 
23 1 2 


2. 用 算法 4.1 求 解 Vandermonde 方程 组 
V(1,2,3,4)2= (1,3,3,47. 
3. BARC. 1 fait ee 
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1 QO x ~x 
0 1 ~x z 
T=], ` » XER 
0 0 1 0 
0 0 0 1 
的 条 件数 oT). 


” 4, 考虑 线性 方程 组 Ax= bd, Hp 


29 -1 | 2(1 +107!) 
A=|-1 y” 107" | -| ~ 107 |. 


1 10 49710 1077? 


(1》 验 证 x= (10%, -1 1) 是 方程 组 的 解 ， 且 其 条 件数 是 


x.CA) = 2€10 +1)%2 10", | 
(2) HERR: MSR E|<10°{A[, HCA+EDy=), A 
fx-yl<1077]x]. 
ZRH, 即使 4 的 条 件数 很 大 ，4 的 元 素 的 微小 扰动 未 必 一 定 会 
引起 x 的 巨大 变化 。 
(3) Æ X D= diag(1075,10°,10°5). EAA: 


t..CDAD)<5. 


5. TER” 是 对 称 正 定 的 Toeplitz BR, 7, (k= 1,2, 
oo DART nly k ESR, RUTHER wT OMB. 

6. 设计 一 个 运算 量 为 O(n?) 的 求解 方程 组 Hx=b 的 算法 ， 
其 中 万 为 上 Hessenberg HE. 

7. 设计 一 个 运算 量 为 O(n) 的 算法 来 求解 方程 组 Tx=5， 其 
中 工 是 非 奇异 的 三 对 角 和 矩阵 ， 

8. HE BH: 

IV Cxos rs ,xa) o max TE 


oxken th |X =x; 
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9. 假设 PCA+E)= LU， 其 HP EHAIDB, L=Li j] 
满足 1; | <16 Mt FEAE U = [ui b= ee. 证明 


O lake 
Ko (A) TEI +min| u;i|° 
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第 四 章 ”线性 方程 组 的 迭代 解法 


$1 ERR 


第 三 章 所 介绍 的 方法 ， 大 多 数 均 需 对 系数 算 阵 4 进行 分 解 ， 
因而 一 般 不 能 保持 4 的 稀疏 性 。 而 实际 应 用 中 ， 特 别 是 偏 微分 方 
程 的 数值 求解 时 ， 常 常 遇 到 的 恰恰 就 是 大 型 稀疏 线性 方程 组 的 求 
解 问题 。 因 此 寻求 能 够 保持 稀疏 性 的 有 效 解 法 就 成 为 数值 代数 中 
一 个 非常 重要 的 研究 课题 。 

目前 发 展 起 来 的 方法 主要 有 两 类 : 一 是 充分 利用 所 给 算 阵 4 
的 特点 ， 采 用 适当 的 主 元 素 选 取 和 策略， 使 分 解 出 的 因子 尽 可 能 地 
保持 稀 栈 性， 二 是 迭代 法 。 这 一 章 我 们 将 主要 讨论 古典 迭代 法 ， 
对 第 一 类 方法 感 兴趣 的 读者 可 参阅 文献 [58], 

迭代 法 一 般 可 表述 为 : 

Xk = PrCXE 1 XE-1), k=l, 二 1 (1.1) 
Ke, MR” xR” x -x RSR” EMAL, RIARKAF, 
一 -一 


i 个 
Xart Xi A ERRE, TAARE. ERRERA. DA 
! 步 和 迭代 法 ; (= 1 时 ， 亦 称 为 单 步 和 迭代 法 。 如 果 迭 代 算 子 9k Gk 
无 其 ， 即 由 去 p， 则 称 和 迭代 法 61.1) 为 定常 迁 代 :否则 称 之 为 不 定 
常 选 代 . 
这 里 ， 我 们 将 着 重 讨论 的 是 单 步 定 常 线 性 迭代 法 : 
xkr=CxXk-i+c，， 天 =1, 2,…， ， (1.2) 
其 中 GE R"*" REAR, x 称 为 初 值 。 
定义 1.1 如 果 存 在 Xxx ER"， 使 得 对 任意 的 初 值 x,€ R”, 
由 克 代 法 (1.2) 产 生 的 叙 列 {x }x- 1 都 收敛 到 x， 即 


lim X E Xx, 
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则 称 选 代 靶 (1.2) 是 收 剑 的， 否则 称 之 为 发 散 的 。 
如 果 先 代 法 (1.2) 是 收敛 的 ， 则 必 有 


XxX#= GX 二 Cs (1.3) 
Bid 
Uk = Xp — Xs (1.4) 
WY SS iE | 
Up = GF tty. (1.5) 
由 此 可 知 ， 迭 代 法 (1.2) 收 敛 的 充分 必要 条 件 是 
lim Gk = 0. 
k = 
Hh — PY eS. BRET Ban FEPER d. DAER PNE 
定理 。 
定理 1.1 迁 代 法 (1.2) 收 敛 的 充分 必要 条 件 是 
Pp(G)<1, (1.6) 


在 实际 应 用 中 ， 由 于 PC(G) 一 般 难以 求 出 ,我 们 通常 并 不 利用 
PCG) EBNF 1 来 判定 移 代 法 (1.2) 是 否 收敛 ， 而 是 利用 一 些 易 
于 计算 的 矩阵 范 数 来 判定 。 如 果 已 求 出 IC1， 只 要 1G1<1， 则 必 
有 p(G) 一 1， 从 而 可 断定 和 迭代 法 (1.2) 是 收 鳅 的。 一般 常用 的 失 
Eglo lel- Alel. g 些 范 数 都 是 用 矩阵 的 元 素 表示 
的 ， 因 此 用 它们 作为 收敛 的 充分 条 件 的 判别 标准 是 很 方便 的 。 

定理 1.2 R .| 是 由 向 量 范 数 | .1 。 诱 导出 的 算 子 范 数 。 如 果 
G1 二 1， 则 迭代 潜 (1.2) 收 敛 ， 且 有 | 


k 
Dep ele < Gr ee sle (1.7) 


G 
xe tale oO [Xk Xk-ila (1.8) 


对 一 切 的 自然 数 k 成 立 。 
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证 明 留 给 读者 。 

从 (1.8) 可 以 看 出 : 只 要 1GI 不 是 很 HIE 1, MARARA 
代 向 量 xi 与 *% -1 很 接近 时 ， 则 xx 与 xx 也 很 接近 。 因 此 ， 常 用 量 
[xr 一 xk- 吉 是否 已 经 适当 小 来 判断 迭代 是 否 应 当 终止 。 但 需 特别 
注意 的 是 ， 如 果 1G1 很 接近 1 ， 即 使 |xx -xk-1l 已 很 小 ， 也 不 能 
断定 1xx 一 Xxx 很 小 。 

对 于 一 个 收敛 的 迭代 法 (1.2)， 其 收 Se ERE RIO 
心 的 问题 ， 因 此 我 们 引进 收敛 速度 的 概念 . 

从 (1.5) 我 们 可 以 得 到 

lur i< LG* Theol, 
于 是 ， 有 
liel <e], (1.9) 
上 式 表 明 1G*1 是 选 代 & ARRADA RAe 的 上 界 。 而 平 
均 地 来 说 ， 每 次 迭代 造成 的 误差 的 压缩 率 应 正 比 FIG. 所 
以 ， 我 们 有 
定义 1.2 氨 代 法 (1.2) 的 平均 收 全 速度 定义 为 


RE (G) = -4mnjo*l. (1.10) 
we SL. AEG HH, OPEC Or E Re CGA GIR RE 
8 有 关 ， 而 且 与 所 用 的 范 数 亦 有 关 ， 这 会 在 理论 分 析 和 实际 应 用 
中 带 来 很 大 不 便 。 为 此 ， 我 们 引进 
定义 1.3 和 迭代 法 (1.2) 的 渐 近 收敛 速度 定义 为 
R(G)= lim ReCC)= -ln (G). (1.11) 


《1.11) 的 最 后 一 个 等 号 用 了 第 一 章 的 定理 3.10。 
§2 基本 迭代 法 


设 已 给 定 线性 方程 组 
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Ax= b, (2.1) 
其 中 AE R""* 和 bER" 已 知 xE R”? AM. 现在 我 们 来 考虑 如 何 
通过 构造 形 如 (1.2)? 的 迭代 法 来 求 (2.1) 的 解 。 
首先 ， 我 们 自然 希望 构造 出 的 夺 代 法 (1.2) 如 果 收 敛 , 其 极限 
ED FER CO. DERE. SEA EHk AREG 和 党 向 it e AE 
QA=1-G 和 Qb=e, (2.2) 
Hp QE R” BAe — |p ay eRe. URC. DAO. MERA RTE 
(1.2) 与 方程 组 (2.1) 是 柚 容 的 。 从 实用 的 目的 考虑 ， 当 然 我 们 只 
XP AA ZS ADR RG ee R. . 
现 假定 4 有 如 下 分 型 
A=M-N, (2.3) 
str M Adhd} eae. G= MIN, c= Mb, W Hier ERK 
代 法 (1.2) 必 然 是 相 容 的 。 此 时， 为 了 避 印 MIN 和 AN 的 计算 ， 
Hy He in PB Fy ETT AR: 
Mxp= NXk i +h, k=1,2,00, (2.4) 
[Eix tE- A FE AL Ra LE A R BE A M REN Fe 
He Ae, RERE EM HARRER, Eix PEI H FEH 
易于 求解 than, MÆRE., EZAÉE., Htt ER EE fi 
ET. ooo 
”基于 这 种 思想 ， 对 4 进行 不 同 的 分 裂 ， 就 可 构造 出 各 种 备 样 
的 相 容 的 夺 代 法 。 下 面 我 们 就 列举 其 中 最 基本 的 四 种 夺 代 法 。 
设 4 分 块 为 
‘Ai, Ais * Air 
Azi Azz ™ Aok 
。 ， . (2.5) 


9 


A= 
Agi Ape * Akk 


其 中 A,, CR JERR AMM WA, 的 线性 方程 组 易于 求 


ME, Mita ter +n = 7 


D= diag( Airs Aves An» 
0 


Api … Akk- 0 
0 An 2 Aik 
Cu= 一 4 ? 
0 0 
上 = cr， U=D"'Cy. 
则 | 
A=D~-C,-Cy=DU-L-U), 
1. Jacobi 选 代 法 ( 亦 称 简 单 选 代 法 ) 
ARH: 
A=M,-N;,; 
其 中 
- M;=D, NJ,= CrL+Cy, 
A FRE: 
J=M3'Ns=D"(C,+Cy) 
=L+U=I-D"'A, 
RBA: 


Dxm= (Cr +Cy)im-1 +8, m z= 1 2， 


2. Gauss—Seidel ik 44 3% 
ABB Al: 
A=Ma- Ne, 
其 中 
Moa=D-Cr, Ne=Cy. 
SEREA: 
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(2.6) 


(2.7) 


(2.8) 


(2.9) 


(2.10) 


(2.11) 


Z= (D-Ch) Co= (CT 一 了 ) WU. 《2.12) 
和 迭代 格式 为 : 
(D~-Cr)Xm= CyXm-1 +b, m=1,2,*. (2.13) 
3. ACB ITE RA fa HK SOR 选 代 法 ) 
4 分 裂 为 : 
A= Ma~ Noas 
其 中 
] =- 
(i 


1 
M。= 二 D-Cr， Ne= D+Cus 


w 为 非 零 实 数 ， 称 作 松弛 因子 。 
和 迭代 矩阵 为， 
Zo = Ma No= U- OL) 'CoU +(1-©@)1). (2.14) 
和 迭代 格式 为 : 
(D-—-wCr xm= (WOv + (1 -)D) Xm. +06 
Cm= 1,2,.), (2.15) 
当 w= 1 时 ，SOR 和 迭代 法 就 是 Gauss-Seidel RK. Ak, if 
当选 择 参 数 v 可 望 SOR 迭代 法 比 Gauss-Seidel RRA A ERM 
收敛 速度 ， 
4. HAR ACR HE ( fa] HK SSOR ik A) 
A 分 裂 为 : 
A=M:;-Ns, 
其 中 


1 
M ,= D -uy P -0(C,+Cy)+0C,D Cv} 


1 _ 
= w(2—0) P ~0C,ID '(D-Cy), 


1 
N= waa) tl — u)’ D + uel —-w)(C,+Cy) +CD Cy} 
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| 1 | 
= (gay -D+oC IDL - ©) D +oCu], 


So=Ms'Ns= LaLa 
其 中 
Y= QU- oU WL + - 0)7), 
Fo Fy SOR ERE. 
迭代 格式 是 : 
(D-0C1)*, 3- {wCy + Cl- wD}xn- +ob, 


(D- Cy) Xn = {0Cr + C—ODIX, 4 +b, 


由 此 可 见 ，SSOR ZEAE EAL Cr 和 Cu 等 同 看 待 连 
续 地 使 用 两 次 SOR 选 代 。 这 样 做 的 好 处 是 : 

C1) 可 充分 利用 内 外 存 交 换 时 得 到 的 信息 ， 减 少 内 外 存 交 换 
的 次 数 ， 提 高 计算 效率 ; 

(2) 在 某 些 特殊 问题 中 SOR 迭代 法 不 收敛 ， 但 依然 可 构造 出 
收敛 的 SSOR iE; 

(3) SOR 迭 代 法 的 渐 近 收 伍 速度 对 丛 字 因子 o 的 选择 一 般 玉 
说 非常 敏感 ， 而 SSOR RACE RIA He. 

注 2.1 Q) 在 上 面 列 举 的 四 种 基本 和 迭代 法 中 ， 当 所 有 的 n, 
都 等 于 1 时， 就 是 通常 所 计 的 点 选 代 ， 如 点 Jacobi 迭 代 ， 点 SSOR 

(2) 对 于 SSOR 和 SOR 过 代 法 而 言 ， 只 有 共 松 弛 因子 满足 0 一 
o<2 时 ， 才 有 可 能 收 和 化 。 央 此 ， 今 后 我 们 总 假定 满足 这 一 条 件 ， 


8$3 正定 年 阵 和 某 些 达 代 法 的 收敛 性 


选 代 法 构造 出 来 之 后 ， 一 个 必须 考虑 的 问题 就 是 这 一 迭代 法 
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是 否 收敛 。 这 一 节 和 下 一 节 我 们 就 来 介绍 几 个 关于 古典 迭代 法 的 
收敛 性 定理 。 

引 理 5.] 设 4EC" feHermitesiH, H 4 分 裂 为 4= M- 
N, HRM AAR at Fe ABE. WM * + 六 是 Hermite ip}, HIER 
的 xeEC”"， 有 

XAXC— 人 TX* AE =u*¥(M* + N)u, (3.1) 
Hib F=M INK, u=x-F#, 
证 明 OF fe HK 
M*+N=(A+N)*¥4+N=A4+N*4N 
=M+N*=(M*+N)* 
Ble, M* +N 是 Hermite Mi, iiH. 


| M=M*-N*4N., (3,2) 
为 一 方面 ， 由 ME=Nx, Ay 
Mu= Mx- Mi= Mx— Nx= Ax, (3.3) 
Nu=Nx-N&t=M&£-Nr= Az, (3.4) 
从 (3.3) 和 (3.4)， 得 
x* AX— E+AE = x* Mu- + Nu., (3.5) 


将 (3.2) 代 入 (3.5)， 并 注意 到 x*N*= 5*Arx， 立 即 得 (3.1)， 
定理 3.1 假设 条 件 同 引 理 3.1。 则 
(1》A 和 M*+ NIE ==> PCM IN) 二 1; 
(2) PCMTIN)<1 和 A++ 六 正定 一 > 4 正定 。 
证 明 ”人 先 证 (1)。 设 4EACMmTIN)， 即 存 在 xE C"， 使 得 


MUINX=Ax, x0, (3.6) 
Rx, t= Ax A u= (1 一 A)x 应 用 等 式 (3.1)， 得 
C1— [A|*)x*Ax= |1 -A| x*(M* + Nx, (3.7) 


此 外 ， VAANII; 否则 Mx = Nx, 从 而 Ax =0, 这 必 有 x= 0, 这 
与 x 兰 0 的 假设 矛盾 。 于 是 ， 由 4 和 Ar* +N 正定 的 假定 ， 从 (3.7) 
即 知 14|1 二 1。 注 意 到 4EACMTIN) 的 任意 性 ， 即 有 PCM-'IN) 二 1， 
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再 证 (2)。 用 反 证 法 。 若 4 不 是 正定 的 ， 则 必 存 EEC, 
使 . 


n= xoAxo, <0, (3.8) 
此 处 用 到 了 PCMT'N) <1 SA A 非 奇 异 。 
从 这 一 xzo 出发， 定义 


Xk = M "NX, 1， k=],2,°%, 
则 由 PCMT'N) 二 1 的 假定 ， 知 
' lim xp = lim CM -IN "xX = 0. (3.9) 


现在 令 
. Up = Xk XK 1 KkK=1,2,", 
利用 引 理 3.1， 得 
XE, AX, 1 ~ XEAXE = URME + Nu, (3.10) 
对 一 切 自 然 数 天 都 成 立 。 
由 % THE C3.8) a) Mu, XO. HR, Hu, =0, AM 
| - Axı = Mu,=0, 
这 与 (3.8) 矛 盾 。 因 此 ， 对 K= 1 应 用 (3.10) 有 
XT AX, = Xo Axo — UTC M* + Nu 
. <x AX, =O, 
其 中 应 用 了 M*+N 正定 的 假定 ， 依 此 类 推 ， 可 证 
XPAXp TXR- 1ÅXp SI< 0 
对 一 切 的 自然 数 天 成立 。 这 与 (3.9) 了 矛盾 。 
定理 5.2 设 (2.5) 所 给 的 怎 阵 4 是 正定 对 称 乍 阵 。 则 
(1) 42D-A TEM, Jacobi AER; 
(2) 40<e<2 ht, SOR 和 SSOR kR kA. 
证 明 HEF, 4 AER MPR A. D* =D, CE=Cy, 
就 有 
M3+N y= D*+C,+Cy= D-A+D=2D-A; 
一 & 


* 1 * 1 
M3 +No=({,D-C:) +( J D+co 
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i 
M3+Ns= o(2- wy LD ~0C,)D'(D- Cy) 


+((L-0)D+0C,)D CI -®)D+6Cy)). 

而 4 正定 义 草 含 着 万 正定 和 (D-oc)*=(D-ocuv) 非 奇异 ， 故 
M* +Ny，Ma+Noe 和 Mi +Ns 均 是 正定 的 。 从 而 由 定理 3.3 知 ， 
pf1D=AOAMTINJ)，0C2o)=OCOMaN) 和 po)=ACMILN) 均 
小 于 工 。 再 应 用 定理 1.1 即 知 定理 的 结论 成 立 。 

注 3.1 定理 3.2 的 (2) 缠 含 着 Gauss-Seidel 迭 代 法 也 是 收敛 的 
(当然 是 在 4 正定 的 条 件 之 下 )。 

定理 3.3 设 (2.5) 所 给 的 矩阵 4 是 实 对 称 的 。 则 

(1) 当 2D 一 A 正定 且 Jacobi 杰 代 法 收敛 时 ， 4 正定 ; 

“(2) 当 D 正 定 ， 且 存 在 wE(0,2) 使 得 SOR 或 SSOR ft 
收敛 时 ， A 正定， 

证 明 留 作 练习 . 


3 4 上 电 和 矩阵 和 东 些 迭代 法 的 收敛 性 


定义 4.] 设 4=LoiiER。 若 4 可 表示 为 4=s7 -有 ， 
其 中 B>0, WAs>P DR, RA ATES RH MBE, ERM 4E 


Bes # 4 满足 r 

- a pO, LENIA, 
a,;->0, 1=1,2,e%,7, 

则 称 A 为 上 FRR. 


定理 4.1 A=LaiyjER"*” 是 人 算 阵 的 充分 必要 条 件 是 A 和 
Æ LE, H AUS. 
证 明 bÈ ik A=sl-B, B>0, s>P(B). AILS A 
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a;;<0, ixj, HAIER, IFA 


-i (y -1 1 S n STE A 
A= (sl ~ p= (IB) =s >. 8) >0. 
记 A "=[piy]j， 由 4 'A=/ 有 


SB i atk: =I, t= 1,2,e,7, 
k=1 
十 是 
aiB =l DBirogi>1, i= 1,2,,7, 
kwi 
m 6;;29, MAA a, ,>0, 1=1,2,-,n, Pa ie A fe: L HERE, 
充分 性 BAR LM, HATSO. HFa: 现任 取 
s>maxa,,, WA B=sl-A>0, (Att P(B) 是 8 的 特征 值 ,而 且 
对 应 的 特征 向 量 可 取 作 非 负 向 量 ， 即 在 在 rER" 满足 x 之 0， 
xs0， 使 得 
p(B)YxX = Bx=sx— Ax, 
从 而 有 
Ax = (s —- P(B))x, 
上 式 两 边 左 乘 A"'!, 得 
x=(S-PC(B))A TY, 
由 此 即 知 ， 必 有 s> PCB). Alt, Awe MAB, 
定义 4.2 Bk Asla lect?” 令 D = diag(Q,,,°*,4nn), 
C=D-A, 我 们 称 矩 阵 | D| -1C AM IRR, ic fF MCAD, 
即 


Jani 一 as 一 jcan| 
MCA) = 一 | ca [922| se — {Gon | 
= [än] — |@ng] ee ann] 


车 NCA) AAR a SH MERE, WRK 4 AJIERROH EE, MH 
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Re, 
定义 4.5 BWA=(a,,J6C™. 如 果 4 满 足 


i-l 
la;;12 S$ la] + » la: ls 1=],2, 1,1, 
j=1 了 


且 至 少 有 一 个 上 使 上 述 不 等 式 严 格 成 立 ， 则 称 A AATE A 
WER: 如果 上 述 n 个 不 等 式 都 严格 成 立 ， 则 称 4 为 严格 对 角 占 
RER. 

引 理 4.1 PE Xt fA Ae a eH A 2) 9 a PO fA d 优 拓 
阵 是 非 奇 异 的 ， | | 

证 明 留 作 练 习 。 

定理 4.2 ”严格 对 角 占 优 氟 阵 或 不 可 分 的 弱 严 格 对 角 占 优 盾 
BAe H Re. 

证 明 IR ACC" ”是 严格 对 角 占 优 年 阵 或 不 可 分 的 能 严格 
对 角 占 优 年 阵 。 则 由 引 理 4.1 Bi, INCA) MEIER HM LARE. 
现任 取 s>maxla;;|, WI 


B=sl-MCA)=0, l 
从 而 P(B) 必 是 B8 的 特征 值 ， 于 是 ， 据 Gerschgorin 圆 盘 定 理 ， 存 
在 上 使 得 
PCBS |s- |a,,|] + 10:1| =s- (1al -Bles 
l ji ji 
但 由 于 s-2(B) 是 (4) 的 特征 值 ， 而 MCA RAP SE. 从 而 s、 
P(B). Ak, BA s> PCB), BAH HBF. 


. 引 理 4.2 设 M=to: 门 EC ”是 严格 对 角 占 优 的 。 则 对 任 
Bi N=[1,,16€C™" A 


Da I: 5! 
ore -Ñ lo;;l l 
jeri 
TERR 由 算 子 范 数 的 定义 知 , 必 存在 Y= Bn) T EC”, 


|MON|.< max (4.1) 
1 : ¢:7 
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[ylo=1, 1878 . . 
IMN |o= IM Ny. 
现 令 x= Carya)" = MINY JERE la; | = max Ja;] = 
Iele. MIE Mx = Ny 可 得 


n n 
> oiujaj= D5 48. 
了 = 1 jel 


FE 有 
las I(l o Oi iol -之 lw; a1) 
< CERNII — > lo: jcj 
jrig 
<| Se] = a; n Bs] 
<1, BSS l. 
了 = 1 gel 
从 而 ， 有 
Dt, 1 
1AM INI = [xJo= le; »}<—— Ft 
oiol ~ 之 [oz al 


由 比 立 知 〈4.1) ÈX. 
引 理 4.5 We M=[0,,JER"" Zo A SL ee, 
N= [n ;] ER" 是 非 负 的 。 则 
DLA 


PCM IN) min -一 于 一 一 一 一 一 一 一 (4.2) 


reisn Joni] ~ 2410551 
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证 明 令 y= (Bi BaT =M Ne, 其 中 e= (1 1,,17, 
UHRE =O. Be By, = min pi. H My=Ne fF 


n 


n 
igi = > Oii BR =i i, BiT > lo: alB; 
j=1 


j=1 sin0 
< Bi,( Oioi T Dy jesl) 
1*iyg 


Alt, id pb;;= e;M'Ne,, WY A 


P(M'N)> min >)8,;= min pi= pi, 
begun j=l leian 


n 
>37,,;/( Or ig” > lw; al) 
i=l 


J*ig 
其 中 的 第 一 个 不 等 式 用 到 了 非 负 和 矩阵 的 一 条 性 质 ( 详 见 本 章 习 题 
8) 和 假设 条 件 冀 含 着 M ! 宇 0。 由 上 述 不 等 式 立 即 知 (4.2) 成 立 。 
有 了 前 面 的 准备 工作 ， 我 们 现在 可 以 给 出 一 类 更 广 的 和 挝 代 法 
AOR 和 SAOR 的 收敛 定理 。 
对 于 给 定 的 A =a; ER”, ig 
D = diag (aii, ,Cnn), 


0 
Qo, 0 0 
Cr = 一 : h, ES , 
Any * ese Ann-1 O 
0 Qlg eee ese Qin 7 
0 t 
Cy = 一 
| 0) Qn isn | 
L 0 J 


如 将 4A 分 裂 为 A4= D-C,_-Cy. 

AOR RER IE IRIE A 

Fr A =(D-71C,) UL -®)D+(=-7)C, +wCul, 

(4.3) 

其 中 r+ 和 。 为 松弛 参数 。 这 种 和 迭代 法 是 由 Hadjidimas 于 1978 年 
提出 的 ， 通常 称 作 快 速 松弛 迭代 法 ， 简 称 AOR AH. BR: 

4 r= i, AOR BRA SOR Rs 

a4 r=w=1RE, AOR 法 即 为 Gauss-Seidel ik (CEs 

X r=0, w=1 Rf, AOR 法 即 为 Jacobi AK. 

SAOR WIER KK ABE A 


F riolA) = Y tral AZ ralA)s (4.4) 


其 中 2。(C4) 由 (4.3) 给 出 ，Y reC4) 是 将 (4.3) 中 的 Cr 和 Cr 
互 换 而 得 到 的 ， 即 

Y rw A) =(D-1Cy) ULCL-@) D+ C@-1T)Cy toC]. 
EIR F ral AJI SSOR UEC So 的 推广 。 通常 称 0 CA) 
为 对 称 AOR EIERE, HEARS ART RRR E ESR 
为 SAOR HERE. 

此 外 ， 记 

QCA) ={B=([B  ]E R" Big! =leigl ISt7<n}, 
称 作 4 的 等 模 矩 阵 集 合 ， 

定理 4.5 Asla JER" Wee, 80. isl, n 则 
A 是 日 矩阵 的 必要 充分 条 件 是 P(] 了) 三 1， 其 中 了 表示 对 应 于 4 
的 点 Jacobi FC RRE. 

证 明 jd D=diag(9,,,%*,@nn), C=D-A. WHI=D'C, 

MCAd= [PD -liej=|[Dla- |). 
ans OC SI<1, WU- ls! FE, H. 


G-]Jp= Sos eo. 
k0 
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因而 INCA) BY HE, AL 

MCA) = H- JDD So. 
HI A E H Hie. 

Ez, € 4 为 H 和 矩阵， 则 CC4) 0. MA m U- ID 可 
wt, HA 
CW -[J|)'=MCA) D| 20. 

再 注意 到 

CC 一 FDCGT+| 有 十 二 7 和 = 下 
便 有 


k 
Died - [DIE-DIE 
i=0 


k no 
WS) 7 对 一 切 的 天 有 上 界 (1- 171)-1。 因 此 SOU IE eee. 
i=0 k=0 


故 必 有 LEAIDS. 

定理 4.4 设 A=[oe;;|]ER” "满足 Qii 记 0, {1=1,2,"*,n， 
0<r<wo。、 则 下 列 三 条 等 价 : 

(1) A$ H fF; 

C2) 对 任意 的 GE QCA) AE RINGS (0,2/(1 +P(111)), 有 
PCL prol(G)<1s 

(3) 对 任意 的 GE OCA) AUER fy Ee W, 2/71) +D), 
WOOP aG. 

这 里 的 了 如 定理 4.3 yk. 

WRR ( 工 )》 先 考虑 4 不 可 分 的 情形 。 

我 们 先 证 1) 成立 旨 含 普 (2) 和 (3) 成 立 。 此 时 ， 不 妨 就 假定 
G=A,. HARA AA) = (DTIC! AEG ART oF Al. Aceh 
Perron—Frobenius 定理 A, PPIE x = (21, e+, a,)7E RY, xO, 

IDI |Cjx=rcJ px. (4.5) 


$ 
È 
a? 
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CO=diag(a…cr)，4=[aii 门 =40。 
则 从 (4.5) 可 得 


Sessyl=pd7D)D1e,|, i=1,2,°%,n, (4.6) 
jsi 
而 且 易 知 
QFP (AO= £7..(A)= MN, 《4,7) 
其 中 


M=D-rC,., 
N=(1-0D+Co-N6,+06y,. 
这 里 DD = DQ, Cr = CrQ, Cu=CuQ. 
、 -o 2 
H H y -i e pa — ^ 
下 面 证 明 M 是 严格 对 角 占 优 的。 由 于 0<r< 了 Fj 
POULT <1, BMC. 6) Al FF 


i-l N | 9 i 
@i,[-1 241% 51214 +e] le 
i~ l 


-pagpa talal -2 Sais l 


j=1 


rml 2414 jl -2 Yla | 


= oD > [@,;|>0, 1= ]yeyn, 


i+ 


因而 M AE et A ARE. FU SR 4.2 可 得 
PCP ro AD) = OF pl ADEF roli |]. = IMN Io 


Lolla +(w-r) Sial +o 5; [oj 


<2 max -一 “oo .j=i+l 
z- 


“— Ep 
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[II 一 ol | +00 Donde Slas 


= max - 

Lagan end-r Sho 
<J1—o] +oeCl7[) | (4.8) 
<i. (4.9) 


其 中 用 到 了 数值 不 等 式 ， 车 正 数 0b, 满足 a- c> fale, 则 
(b-oc)/(a-c)<b/a; WR Re O0<eo<2/li+eCU pla & A 
l1-w] +p] JD<1. 
同 理 可 证 
IZ rol A STI -ol oe SDL. (4.10) 
BERIS roD =Q- ,0CAIO, MC4.8) FNC4. 10) BNE 
PCF r,a LAD = PCL 7,00A)) <]H%5,0€A) foo 
T 71, A) Sy IR 
<[ll- o| +oP 1D 一 1。 (4.11) 


再 证 (1) 不 成 立 必 有 (2) 和 (C3) 不 成 立 ， 这 只 和 需 证 ， 在 4 JEH 
怎 阵 的 条 件 下 ， 必 存在 定 阵 GEQ(C4) 和 ro W E O<r<o< 
2/E1+APc7r]， 使 得 
PCH t, (G1 和 PLF r,0(G)) 21 
成 立即 可 。 
现 就 取 G= INCA). 则 G A L ERER E HERE. 于 是 据 定 
理 4,3 A PJD Kie, M (4.6》 可 得 


(ai lo lol, i=1,2,,n, (4.12) 

j* 

HFG, |>0, i= 12,50, KTR r 为 充分 小 的 正 数 ， 使 得 

LL a-r Sy aslo, 
i=1,2,°,n, (4.13) 
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这 样 ， 对 任意 的 we (r,2/[1+ACI7I)] 了 )， 应 用 引 理 4.3 于 M= 
[Dl -riL N= a-o] D] +Co-n)[O,[ folk WR 
PCZ ral WMA) = PCL ro MA = PCM IN) 


=> min Su; 


1<j <n jal 
n 


(1- wlan! tn S14, | 40 Meal 
= min 一 -- fot. Frith. 
. xix 
ast lapl- S144] 
jel 
(4,14) 


=l, 
其 中 心 = efM-IVey= eT or, CMC A) es 1,7=1,2,00,7 
同 理 可 证 
min Deh (4.15) 


Ixix j 
H uu, = ete rio(MCA) 6s, 1,7=1, 2,050, 
iz 
Biy = eT pro MA Z pa MCD) p i, j=l, 2 sn, 
则 有 


min Su min > Sen! kf 


Regan j= 1<T < 和 9) lk- 
= min Sten Xilas 
l<aj<n k= jel 
n 
之 min u ( min la ) 
lajan > ik I<kan 24 j 


=( min u «)( min lk >L 
lejann > i 1<k<1 > i 


最 后 一 个 不 等 式 应 用 了 (4.14) F (4.15), 从 而 


PCF ro MCA) = PCH r,a (MA> min X Pl, 
<i<m jel 
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这 样 ， 我 们 就 在 4 不 可 分 的 条 件 之 下 证 明了 定理 成 立 。 
CI) 考虑 4 可 分 的 情形 。 
此 时 亦 先 证 (1) 殖 含 着 (2) 和 (3) . 仍 不 妨 假定 CGC=4. WHA 
所 有 等 于 零 的 元 素 都 换 成 © 而 得 矩阵 A o MA 是 不 可 分 的。 
AF A RE, PAJ D<. it 4。 对 应 的 Jacobi k 代 和 矩阵 
为 J:， 则 J ,= DT'C。( 因 A 的 对 角 元 素 均 不 为 零 ， 故 A 与 4, 有 
相同 的 对 角 元 素 )。 因 此 ， 当 s- 一 0 时 ,有 2(C7 1D)->2C7D) 一 1 
所 以 ， 必 存在 si: 盖 0， 使 当 O<e<e, t APAL, AmE 
A. 是 五 矩阵 。 应 用 ( 工 ) 所 证 不 等 式 (4.8) A GILID 知 ， 当 
O<exte, 时， 有 
PCZ tro LADS] -o| +0PC| J, |) (4.16) 
和 
PCF ro ADEL >u] +p J pD (4.17) 


对 一 切 的 r+ 和 o 满足 0<cr<o<27fl +E J DIRE. 
现任 意 取 定 和 MEss], 则 必 存 在 
TER €.<6,, fE4O<e<e, 时， 有 


2 
<< 
osrsos ti pE yT 


Mi, 4O<e<e, 时， 有 (4.16) 和 (4.17) 成 立 ， 故 令 s->0， Bp 
得 


PCL ta CADE] -o| +oprd JD 二 1， 
PCF ta LAÐ -0) +wp JDL, 


这 说 明 (2) 和 (3) 成 立 ， 

用 类 似 的 技巧 可 证 (1) 不 成 立时 ， 亦 有 (2) 和 (3) 不 成 立 。 详 
细 证 明 留 作 练 习 读 者 自己 补 出 ， 

作为 这 一 定理 的 一 个 直接 推论 ， 我 们 有 
推论 4.1 如 果 人 是 严格 对 角 占 优 和 所 阵 或 不 可 分 弱 严 格 对 角 
占 优 和 抑 阵 ，0 和 过 <2/L1L+APC TD) 则 对 应 的 点 Jacobi, 点 Gauss- 
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Seidel， 点 SOR 和 点 SSOR 迭代 法 都 是 收敛 的 。 


§5 多 项 式 加 速 


从 前 面 两 节 的 收敛 性 定理 可 以 看 出 ， 用 古典 交代 法 求解 线性 
方程 组 时 ， 一 般 收 钙 性 是 难以 保证 的 。 此外， 即使 收 化， 也 可 能 
收 钙 的 很 慢 。 因 此 ， 我 们 自然 希望 能 找到 一 种 方法 ， 在 不 增加 太 
多 的 运算 量 的 前 提 下 ， 对 原 选 代 产 生 的 序列 加 以 适当 的 修正 ， 使 
得 原来 不 收敛 的 变 得 收 伍 ， 原 来 收敛 的 收敛 得 更 快 ， 这 就 是 本 节 
将 要 讨论 的 中 心 问题 。 

经 典 分 析 中 求 和 法 的 基本 思想 为 我 们 寻求 这 样 的 方法 奠定 了 
理论 基础 。 设 {xx}R-o 是 一 给 定 的 实数 序列 。 最 简单 的 求 和 法 是 
构造 新 序列 


Wy = Ey o+ t th) K=0,1, +, 61) 
-这样 做 的 结果 是 : 若 {xx 色 -oo 收敛 ， 则 {yx}R-o TRUM, mi AE 
们 的 极限 相间 ; 若 {xx}x-。 PUR, Wise. o 0 AS RRA. E 
一 般 的 求 和 法 是 ， 先 选 定 一 组 参数 


Ago 
Qio Gi 
“ee (5.2) 
Qko Ay Bik 
满足 
k 
te Hl, k=0,1,*; (5.3) 
i= 0 
然后 ， 构 造 新 的 序列 
k 
Yn = Darjxj, k=0,1,., (5.4) 


j=0 
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oa; =00G0=0,1, wsko1), oxx=1 了 ,yx=Xx; Map. 
1/(K+1) 时 ,《5.3) 就 是 前 面 所 讲 的 简单 求 和 法 。 由 于 这 里 的 ag; 
有 较 大 的 选择 自由 度 ， 因 此 可 望 通过 ar: 的 适当 选取 使 新 的 序列 
{yx jk-， 具有 更 好 的 收敛 性 ， 

现在 我 们 来 考虑 如 何 把 求 和 法 的 基本 因 想 应 用 到 我 们 所 关心 
.的 问题 上 。 假 定 *xo,xi… 是 由 与 方程 组 (2.1) 相 容 的 友 代 法 

Xp =Gx +e, k=0,1,+% 

产生 的 向 量 序列 ， 对 于 给 定 的 参数 (5.2), 类 比 于 (5.4)， 亦 构造 
新 的 序列 


k 
T= Dy apy j Kk=0,1,", .(5.5) 
9= 0 
令 
Up = Ty Xs k=0,1,°", (5.6) 


其 中 xx FA xy, = Gx, +e. 自然 ， 我 们 希望 遂 过 参数 的 适当 选取 
使 u, 尽 可 能 快 地 收敛 到 零 。 将 (5.5) 代 入 (5.6) 即 得 


k k 
j=0 


P 
Sa jG 7 (Xo — xXx) 


j= 0 


k 
= (Sia 6 G? )uy. (5.7) 
记 
k 

Ji) = 2 tk tts 
- 则 (5.7) 可 写作 

Up, = 4r(GYu, (5.8) 
因而 ， 欲 使 ux Ra RRA MBS. HIRME BH ay 使 
9, (G) AS HEBER BY BER, ap rR Fe: R 
IE FLY, 使 得 
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max |g,(A)|= min max |p,(A)]. 
aCA(G) Pea? AG aA(G) 


其 中 PP Bk RM k HRE O1 的 实 系数 多 项 式 
PCL MAK. 

然而 ， 求 解 这 样 一 个 优化 问题 并 非 一 件 易 事 。 这 是 因为 我 们 
一 般 很 难 详细 知道 G 的 所 有 特征 值 ,即便 知道 了 G 的 所 有 特征 值 ， 
求解 离散 集合 上 的 一 个 最 佳 一 致 逼近 问题 ， 理 论 上 亦 有 一 定 的 困 、 
难 。 所 以 ， 我 们 转 而 考虑 一 个 连续 集 上 的 最 佳 一 臻 逼近 问题 ， 即 
求 9gkE A, (EB | 


max{g,Cu){= min max!/p,(x)|, (5.9) 
BCBG PREK?) pe SG | 


其 中 56 为 包含 4(G) 的 某 一 凸 集 。 BR, So 取 的 越 小 越 好 ， 而 


且 可 根据 G 的 特点 进行 估计 ， 下面 我 们 分 三 种 情况 来 讨论 上 述 优 
化 问题 ， 


1， 设 G 的 特征 值 都 是 实数 ， 并 满足 
ACG)) TLa,fRIC( -0,1)., 
此 时 ， 取 So =[a,8]j， 则 (5.9) 就 成 为 ， 求 94: € FL, HH 


max |9x(t)]= min max |[p,(t)|, (5.10) 
clasp] a(1) tolas] 


t 
PEPR 


著名 的 Chebyshev 定理 〈 参 见 文 献 L113) 告诉 我 们 ， 优 化 问题 
(5.10) 有 唯一 的 解 


op (2A BON /p (REBT 
WDT (l Ve (Gea) ID 
其 中 TO Æ ky Chebyshev 多 项 式 ， 由 下 面 的 递 推 公式 给 出 
TaD = l, T(t) =t, 

Te D= UTRO -Tp 0), k=2,3,., (5.12) 
这样， 在 理论 上 上， 我们 已 经 找到 了 在 上 述 意 义 下 的 最 佳 参 数 
ou。 但 实际 使 用 时 ， 这 是 行 不 通 的 。 这 里 的 原因 有 二 : 其 一 是 
整个 述 代 过 程 需 要 保存 所 有 的 x,…,xx， 当 K RAM, BATA 

134 


多 的 内 存 ， 其 二 是 求 出 9 的 系数 也 是 很 费时 间 的 。 幸运 的 是 , 利 
用 Chebyshev 多 项 式 的 三 项 递 推 公式 ， 我 们 能 够 完全 避免 上 述 两 
个 问题 的 出 现 ， 而 给 出 直接 求 2, 的 非常 简单 的 迭代 公式 。 

记 


E = 一 一 一 a > i(t) = p-a e 
iy 
(t) Traa (D) Q1Ct)T, Ct) -Tk C) 
Irah E ne = Tri) 
27) 2 I(t) 。 TCi TO Œ) Tk- 1 (&) Tk- dy) 
Tki) TCE) Te TK-108) 
_ 2T C9) e 1 (§) 
= Te D PUND- wae) k- H. 
于 是 有 
Up+1= qk#41CG) Uo 
T 
-2 FAG agua 7p F bet di 1(G) uy 
oT, CE) re (2) 
| = T(E) OTT 41) Uk- le (5.13) 
Hu, =; -x+ 代入 〈5,13)， 并 注音 到 x+ = Gx, +e, 即 有 
-Fe - 7 Cf). 4 TxA) 
Pea Te OFT ete t BaTiO” 
(5.14) 
令 
_ or Ik) o 2 
Prsi = Op Ce? P=3 p-a’ 
则 (C5.14) 可 写作 
Bear = Ppl Gy +e) +I VOR] + CL- Peed Fear 
(5.15) 
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此 外 ， 易 证 
Pk+i— ie? airs =I, i 
Ak, RATAR THARA pg: 
P, =2, 
pps1 = @ - ga) 。 (5.16) 


这 样 ， 对 给 定 的 初 值 xo， 就 可 由 公式 (5.15) 和 (5.16) 产 生 
我 们 所 需 的 序列 {$1}%-。。 这 一 迄 代 过 程 可 总 结 如 下 ; 
(1) 给 定 Xos 令 P1= 2; 


(2) 计算 ， 
x, = CX0 +e, 
č=(2-ß-a)/(8-a), 
y=2/(2-B-a); (5.17) | 
(3) BFE: 


Prr1 = (1 -ob 
Xp = Perily(Gx_, te) + CL—4) x, 1+ CL Pyar Xp 
(k=1,2,++), 

这 一 选 代 法 称 作 Chebyshev 半 迁 代 法 ， 它 是 一 人 二 步 不 定常 
的 线性 选 代 法。 

在 实用 中 ， 常 常 取 定 一 个 正 整 数 m， 采 用 (5. IDAR me 
生 sazii FA «RA xo BRA mk, KH Ae AE 
进行 下 去 直到 满足 要 求 为 止 。 这 种 迭代 法 称 为 循环 Chebyshev 
ARH. 从 (5.8) 容易 看 出 ， 循 环 Chebyshevy BARE HSB, 
He VALE ARE daO) 的 谱 半 径 是 否 小 于 1。 


注意 到 
Ta (“52H a 一 了 人 | = 1 


max 
ant<f 
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A 


2-ff-a 


E5 pia 1 
并 利用 二 1 时 ， 
TaD U- vU VE "1/2, 
就 可 得 
P(Gn(G))= max jgn (H) max 14n(t)| 
BCAG) awt<h 


an- 20™ 
= (Pa = 7 gia, 


其 中 osé- vés- 

这 表明 循环 Chebyshev XE (ETE G 的 特征 值 均 为 小 于 工 的 
SE Be Ref Ae HC Oh | | 

2. 设 G 的 特征 值 都 是 实数 ， 但 有 的 特征 值 大 于 1 。 此 时 ， 
WR RAE. h PERE 是 相 容 的 ， 故 【一 非 奇 
异 ， 从 而 1 必然 不 是 G 的 特征 值 。 因 此 ， 必 存在 4 二 8 二 1， 使 得 

ACG) La,pILL2- 8,2-0]. 
A&G =GQI-G), W 
ACG,)Cfa(2—a), P-B 00,1). 
X 
I-G,=(U-G)’, 

故我 们 容易 构造 出 迭代 和 矩阵 为 G1 A ARE. Peet G1 应 
用 第 一 种 情况 所 得 到 的 和 迭代 苇 ， 即 可 产生 收敛 的 循环 Chebyshev 
FERE. 

5。 设 G 的 特征 值 不 全 是 实数 ， 但 它 包含 在 由 如 下 椭 风 界定 
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其 中 5,a,P 是 实数 ， 且 满足 gb>6>>0 和 ac +8<1I， 如 图 5.1 所 示 ， 


此 时 ， 我 们 考虑 如 下 的 优化 问题 求 9 E PEAR 


max|qg(z)| = min max|p,(2)|[, 
zea peo) zes 
此 问题 亦 有 唯一 的 解 : 


T,((2-£)/9) 


1462) = FCG = y 


其 中 ThE kx Chebyshev 多 项 式 ,y = (a? 一 162) 利用 Cheby- 
shey 多 项 式 的 三 项 递 推 公式 易 得 
40(2) 三 1， 

q,(2) = 三 2 一 2 十 工 ， 
94102) = Pegi Z+1-7)9,(2) 
+L Pki) de-1(2) (Kk=1,2,%), 
其 中 


a 27,0)» 1g 
v=(1-2) 1, Peri TO) 多 d= e 


Ekt, Chebyshev FERREE 
Zk = Gx, ~ Xp +0, 
Xka = Pkt Zk + Xk) + Chm Pki) X pur. 
详细 推导 过 程 读 者 可 模仿 第 一 种 情况 进行 ， 亦 可 参阅 文献 [ 1 ] 和 
将 Chebyshev 多 项 式 加 速 技巧 与 具体 的 选 代 法 相 结 合 就 可 得 
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到 相应 的 Chebyshev 半 迭 代 法 。 例 如 与 前 面 的 四 种 古典 和 迭代 法 联 
合 使 用 就 得 到 了 所 谓 的 J-SI,GS-SI, SOR-SIA1 SSOR-SI 迭代 法 ， 
由 于 只 要 4 是 对 称 的 ， 就 有 SSOR ANERER .Yo。 的 特征 值 A 
实数 ， 因 此 现在 经 常 使 用 的 是 SSOR-SI KIE. 

Chebyshev 半 和 迭代 法 的 主要 困难 在 于 如 何 去 高 效 地 估计 所 需 
的 参数 Cao, Boy. 等 )， 对 某 些 应 用 领域 中 的 实际 问题 ， 近 来 
已 有 不 少 文 章 探求 有 关 参 数 的 估计 方法 。 由 于 篇 幅 所 限 ， 这 里 不 
再 玖 述 ， 有 兴趣 的 读者 可 参阅 文献 138]. 


习 g 
1. THRE 
i 4 -1 0 
4=1- 1 4 一 工 |， 
0 -1 4 


给 出 对 应 的 点 选 代 和 矩阵 了 ，2 ,2 和 .2。， 并 确定 对 应 的 SOR 和 


2. WR FF Ce AE A Se EW 1 WO -OW ERRE EME 
ME, MPRE. D ÆR SEA. ME ERREA. DE a Mt 
称 化 的 。 试 证 : 
(lL) GG 的 特征 值 皆 为 小 于 1 的 实数 ; 
(2) 存在 Yy， 使 得 
Xp. =VCGX, +d) + (1 -Y)x;; 
Fe BUS TR ACHE GK BRE RE CL. DA — PEE) 
3. 证 明 ， 对 于 SSOR 迭代 法 有 
2(%e)=|1-o[*, 
并 由 此 给 出 SSOR 迭代 法 收敛 的 必要 条 件 。 
4. mR 4= M 一 NN 满足 M-! 宇 0，N 宇 0， 则 称 其 为 4 的 一 
ATER. 车 A"!' 宇 0， 有 旦 4= MN 是 4 的 一 个 正则 分 裂 ， 试 
WE: 
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-1 ~ P(A IN) 
PMT NO = TT eCA ND 


5. BA 为 如 下 的 块 三 对 角 阵 
D, C, 
0 


0 | B, D. 
其 中 DER HIER, m+eetni=n 试 证 ,对 任意 的 hE 
CM0) 有 


A= 


det( D - uC, - Cu )=det(D-C,-Cy), - 


其 中 
D= diag(Di1,'* ,Ds,), 


。 | ve C, | 
0 B, 0 0 0 
6、 对 于 第 5 题 所 述 的 矩阵 4 IEN: oxi, ACACZo) 
的 充分 必要 条 件 是 存在 4E 4(]) 使 得 
4 Lon + (wp? ~ 40 + 4) P, 


7. BOEANS 5 MEIERI MIBE A HES Bre Taccbi SKARE 的 
特征 值 均 为 实数 ， 并 假定 PC7 二 1。 试 证 : 

(D RCH) =2RC); 

(2) (Ho, = inf PCF) =0,-1, 其 中 


Wy = 


2 
l+vy-pC)® 
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(3) 20RA, D)? SR Zo PS RCZ:) +2°R(H1))", 
8. BA=([a,,JCR "BIER. 证 明 : 


min >a; ;<P(A)<max >jaij. 
i j=1 i j=1 . 
9. 设 A=[asy]ERR"*" 是 严格 对 角 占 优 的 。 试 证 : 
|der(Ay |=] (lal - Sy lassl). 
p= 1 


jxi 
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RAR AEE 


$1 最 速 下 降 法 


考虑 线性 方程 组 
Ax =b (1.1) 
的 求解 问题 ， 其 中 AEA MRR IEE, b RAEN -- 
维 向 量 ，x 是 待 求 的 1 维 向 量 。 为 此 ， 我 们 定义 二 次 泛泛 


p(x) = pxT4x -0Tx， (1.2) 


容易 验证 : 9 的 梯度 为 

l e’ (x) =Ax—b, (1.3) 
4 ffy Hessian 矩阵 为 4。 litt. ? AME AS RANE Xy = AUS, 从 而 
有 


Ax, = b= >$(x,) = min P(x), (1.4) 


这 表明 求解 方程 组 (1.1) BRZOZA o hR. E 
期 ， 人 们 总 是 先 把 求 ? 的 极 小 点 的 问题 化 为 求解 方程 组 (1.1) 的 
问题 ， 然 后 通过 解 (1.1〉 来 求 得 # 的 极 小 点 。 而 这 里 ， 我 们 将 把 
这 个 过 程 反 过 来 ， 即 把 求解 方程 组 (1.1) 的 问题 化 为 求 泛 困 e 的 
极 小 点 的 问题 ， 然 后 通过 求 ? 的 极 小 点 而 求 得 方程 组 〈1.1) 的 
解 ， 

3k o 的 极 小 点 的 最 简单 而 有 效 的 方法 就 是 最 速 下 降 法 ， 即 从 
某 点 xz 出 发 ， 逐 步 产生 一 吕 点 xy yy Xn ME PSC) 
Co 以 “最 快 的 速度 "下降 到 9 的 极 小 值 。 共 体 的 做 
法 是 ， 在 求 得 x 之 后 ，xi 11 是 沿 着 ?在 xX; 的 最 速 下 降 方向 , 即 负 
梯度 方向 r = -Ax -5b)， 求 ?的 最 小 值 而 得 到 的 ， 即 x 41 = 

142 


x, +4,7, ME 
P(X) =min P(x, +a0r,). (1.5) 


因此 ， 确 定 x, ,的 过 程 也 就 是 求解 一 个 一 元 函数 的 极 小 点 的 过 
程 ， 这 很 容易 用 初等 微分 学 的 方法 来 解决 。 


现 令 
fa) =YCX + Ar, ), aE R. 
则 易 知 
. | T'a =r e-r, +aAr,), (1.6) 
由 f(a) = 0 可 求 得 /的 唯一 的 极 小 点 是 


Qi1=7ETEATT Ar 。 (1.7) 


AF, PATE RB T Boe ok FEE ERRA: 
a, = rF ra a/t Arpa 
X, =X, +0; 45 (1.8) 
r, =b- Ax, 
(k=1,2,%). 
At Fie — RAE A i F ic Oe PE ae BB 
定理 1.1 AREA AOS Aye Ans MK EHEC. 8) 
产生 的 点 列 {xzx = 满足 


An TÀ A 
fee = ela (EEN zs xxla, (1.9) 


其 中 xx = AND, | e |1a 按 第 一 章 的 (3.3) 式 定义 。 
为 了 给 出 这 一 定理 的 证 明 ， 我 们 先 证 一 个 引 理 ， 这 一 引 理 在 
今后 经 常用 到 。 
引 理 1.] 设 4 的 特征 值 为 0 二 和 二 Am， pb) 是 上 的 一 个 
多 项 式 。 则 
[PCA x] 4 max IPOS) Isla, VWxER*. 


证 明 BE Vis Yrs ts Yn Æ AMM YF Ass Aas ett s An AY EF ME a E 
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所 构成 的 R" 的 一 组 标准 正 交 基 . 则 对 任意 的 xER" 有 <z= 
D Bio AmA 


i=l 


x™DA)AD( Ade = (DBP Ny ONAA ) 
i=l t=1 


= SYA BIRR, 


i=1 


n 
< max p*(). .B?2 
< max PAD DAs Bi 


= max p?(i,)xTAx, 
legion 


于 是 
PCA) x as max | PCA Nella 


定理 1.1 的 证 明 oh x, Ae 
P(X, )SO(X,_, 97, 1), VaR 
可 得 
(x, ~ x, TACK, — xy) 
Xp $47, _, X) TACK, _ | +a - Xe) 
=[C-aA)(x,_1-%4) JTALCU ~ GA) (4, 1-4) ]5 
V@acR.,. (1.10) 
记 Palt)=1—at, MMII., JA (1.10) 可 得 


Ix, -—Xela<psCAdx,_1- Xa dla 


< max [Pa AD |X e-1— tall (1.11) 
对 一 切 的 a€ R 成 立 ， 再 利用 Chebyshev 多 项 式 的 性 质 ， 可 得 
. 2 Ana A | 
min max |i —atl Ant As (1.12) 


将 (1.127 代 和 人 (1.117 即 得 


An — Ay 
An y hile- > Malas . (1.13) 


x, — x# IES 
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注意 到 (1.13) 对 于 一 切 的 自然 数 K 都 成 立 ， 立 即 知 (1.9) 成 立 。 
定理 1.1 表 明 ， 从 任 一 初始 向 量 xo 出 发 ， 由 最 速 下 降 法 产生 


MAI- o 总 是 收 伍 到 方程 组 (1.1) 的 解 ， 其 收敛 的 快慢 由 量 
FE YA ANU. 


综合 上 面 的 讨论 ， 我 们 就 得 到 了 求解 方程 组 〈1.1) 的 如 下 算 


法 。 
算法 1 .1 
(1) 输入 A4,b,xo 和 精度 =。 
(2) r:i=b-—Axy, X= Xps 
(3) a:=rTr/rTAr, 
XiX + ar, 
r:=b —- Ax, 


(4) Rir- <e MAB s Bk; 否则 转 步 G). 


这 一 算法 有 简单 易 用 ， 可 充分 利用 4 的 稀 玻 性 等 优点 ， 但 当 
hi 和 4 时 收 伍 速 度 变 得 非常 之 慢 ， 以 致 于 完全 不 适用 。 如 何 来 加 
快 这 一 算法 的 收敛 速度 ， 是 我 们 今后 几 节 将 要 讨论 的 问题 。 

此 外 ， 在 这 一 童 今后 几 节 里 ， 如 果 没 有 特别 说 明 ， 我 们 所 讨 
论 的 矩阵 A 都 是 正定 的 ， 所 谈 到 的 ? 均 指 由 (1.2〉 所 定义 的 二 次 
iZ EA. 


$2 二 次 泛 图 的 几何 性 质 


为 了 进步 考察 和 分 析 最 速 下 降 法 的 特性 ,寻找 改进 的 途径 ， 
X ERRARE RO 的 性 质 作 进 一 步 的 研究 ， 为 此 ， 先 引进 
儿 个 几何 概念 。 

itp ER”. 我们 说 p 和 9 PRAHA ke HAH E 
HAARAA, Et CINA p149 = 0。 
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设 Pios Pa- ER” Hin -kP ik tE R AJER, 81st’ An- RHE 
给 定 的 na- K 个 实数 。 我 们 称 满 足 
DIX=6;, t= 1 2，…， 1 一 天 (2.19) 
的 x 的 爹 体 所 构成 的 及 * 中 的 点 集 为 一 个 大 维 超 平面 ， 记 作 
Tk: pIx= 6i, 1=1,2,*"*,7— Kk, (2,2) 
pho RET, WKS. 
从 定义 容易 看 出 ， 一 个 上 维 超 平面 实质 上 是 n~k 个 法 问 量 线 
性 无 关 的 通常 意义 下 的 超 平面 的 交集 。 l 
此 外 ， 由 Pise Pn 线性 无 关 的 假定 知 ， 齐 次 方程 组 
prx=0, {= 1,2, n-k 
有 且 仅 有 上 天 个 线性 无 关 的 非 零 解 。 现 任 取 它 的 一 组 线性 无 关 的 非 
Fe AR Uy Uy eee yt, AUT EE "NE Xo, My FB Ex E nr FE ERE 
Fi TF TER BLA Ag, tee Ay, 使 得 
X= Xg t Ay + ee +OApUpe 
AU = Lup. uy |, Wj ze ,, AR AY BE Ay 
Re: X=XyotUy, YER, (2.3) 
此 时 ， 我 们 亦 称 区 是 经 过 点 x H yeu, SRR k EEEE. 
(2.3) 也 说 明 一 个 k 维 起 平面 就 是 一 个 k 维 子 空间 的 平移 ， 
我 们 说 一 个 向量 p 包含 在 一 个 维 超 平 面 X% 内 ， 是 指 这 一 向 
量 的 起 点 和 终点 都 在 xx 上 ， ix er Pp A- RE aT, E, mH 
足 | 
pip=0, t= 1,2,++,n—k, (2.4) 
Herfap,, tt, Pa- k FET, MUTE B es 我 们 说 一 个 向 量 9 HER FT Ab 
指 4 与 rx 内 的 任 - :向量 痢 正 交 ， 这 等 价 于 4 满足 
qTu; =0, 1=1,2,+,k, (2.5) 
Ft ru, eeu, aK Mw AY k Pee | 
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设 zx BAE DA piss Pn 为 法 向 的 k 维 超 平面 ， 则 称 由 
APs, A pn 所 张 成 的 超 平面 


Wn pes K=Xy+@,A7'p, +o +0,_,A Pn (2.6) 


Az, (Fw Be, He. = 4 2 是 方程 组 (1.1) 的 解 。 
这 里 需 指 出 的 是 ， 工 面 所 定义 的 共 斩 超 平面 这 一 概念 与 方程 
组 (1.1) 有 关 ， 
l 此 外 ， 从 定义 易 知 :zf 内 的 问 量 与 全 内 的 向 量 是 互相 共 
a AD tit AAS ty EHu ee Ue KIM, i] Ati, At, oe RE np 
的 法 向 。 

i BAe mr Xt PRE ee RE, AEE ECA AE R PRHE 
whe ITER h WE 
l (x-x,)'B(x-x)) =7 (2.7) 
的 x 的 仿 体 所 构成 的 R" 中 的 点 集 为 m 一 1 维 超 椭 球面 ，x, 称 作 这 
个 超 椭 球 的 中 心 。 记 作 

Em- 1: (x ~ XT B(x — Xo) = Ye 
由 上 述 定 义 ， 易 证 点 集 
Erni: PX) =Y Cy > PCXy)) (2.8) 
fL—- Atha Hy x* = Ab fyn- 1 SERRA ER IT. 
现在 我 们 来 考虑 ?9 在 任 一 给 定 的 超 平 面 上 的 极 小 点 的 特征 。 
定理 2.1 ik 
Tht x=x,+U0y, ye R* 
是 任 一 给 定 的 Kk WEM, Hp UER E. ME 

(1) 了 在 Tk 上 的 极 小 点 是 唯一 的 ; 

(2) ?在 zk 上 的 极 小 点 正好 是 7, HK -1 维 超 椭 球面 (2.8) 
所 得 到 的 KK- 1 FERRER m 

Ex-1 = Eni!) (2.9) 
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所 噶 定 的 超 椭 球 的 中 心 ， 

(3) Z P E ng 上 的 极 小 点 的 充分 必要 条 件 是 9 TE & M 
EEA TF Tke 
证 明 9 在 zx 上 的 限制 为 二 次 泛 函 


Wy) = oxo0 + Uy) = BY By — glyrp(xo), YER, 


其 中 B=UTAU，g= -UTP C) = UTT, T= b- Axo。 由 A 正定 
HUW kA BIRERE. Wit, y Æ R* 内 有 唯一 的 极 小 点 多 
= Bg, Mit? fea, LAME - 极 小 点 =xo+ Uy。 再 注意 到 
J 是 大 -1 AER Misk E 
Bi a: VUE COSC) 
所 界定 的 超 椭 球 的 中 心 ， 即 知 = xo+ Uy k-i AER ER 
Ep = Enia ={*: X=x0t+Uy, ve Fy} 
所 界定 的 超 椭 球 的 中 心 。 
此 外 ， 注 意 到 
Y’) =By -g =UTCAUY =r) = UTP’ (xotUy), (2.10) 
四 知 定理 的 (3) 成 立 。 证 毕 ， 
定理 2.2 设 P,…,Pn y 是 给 定 的 nm- 天 个 线性 无 关 的 问 量 ， 
则 9? 在任 一 以 ppna 为 法 癌 的 上 维 超 平面 xx 上 的 极 小 点 必 
位 于 7, WARE A An- 上， 
证 明 设 到 是 9 在 和 上 的 极 小 点 。 则 由 定理 2.1 知 ， 多 (2) 
= 45 -上策 直 于 XA。 而 Tz; 的 法 向 量 是 71,…,pn-:， 故 有 
AzZ— bE span{ pis"; Dr.}, 
即 存 在 常数 Gao ver nes 使 


AT—b=QP +a Pa +" +, Pa is 


E= A b+ AT Pi +AA poste +O, ATPa is 


BEER, Ibe. p 

现在 我 们 来 从 几何 上 解释 ， 当 4 的 最 大 特征 值 0, IAF 
它 的 最 小 特征 值 41, 时 ， 最 速 下 降 疲 的 收敛 速度 为 什么 有 时 会 变 
得 非常 之 慢 ， | 

从 几何 上 来 看 ， 求 ?的 极 小 点 就 是 寻求 n-1 维 超 椭 球面 
Es .1 如 (2.8) 所 定义 所 界定 的 椭 球 的 中 心 ， 而 最 速 下 降 法 的 
每 一 步 ， 就 相当 于 从 一 个 给 定 的 点 3 出 发 ， 疝 着 超 椭 球 面 

Bay: P(X) = PCE) 
的 内 法 线 方 向 Y=b 一 Az， 和 寻找 ? 的 极 小 值 ， 即 寻找 ?在 一 维 超 
平面 | 
o Au X=E+ar, GER 

上 的 极 小 点 ;定理 2.1 表 明 ， 这 也 就 是 寻找 m (ERR 面 Eai 内 
之 线段 的 中 点 2; 当 4 的 最 大 特征 值 A. 远 远 大 于 它 的 最 小 特征 
11 时 ， 椭 球面 局 , _， 变 得 非常 扁平 ， 如 果 名 位 于 它 的 较 平 坦 的 一 
面 时 ， 其 内 法 线 方向 了 就 与 和 椭 球 中 心 x; = Ano ER i 
几 平 是 垂直 的 , 这 样 与 xs。 之 间 的 距离 就 差不多 等 于 3 与 x; 之 
间 的 距离 ， 从 而 使 得 最 速 下 降 法 的 收敛 速度 变 得 非常 之 慢 。n= 2 
时 的 示意 图 如 图 2.1 所 示 。 


$3 HHR HEAHEA 


上 一 节 对 最 速 下 降 法 的 几何 解释 阅 明 ， 就 我 们 所 解决 的 问题 
而 言 ， 负 梯度 方向 并 非 最 合适 的 方向 ， 有 时 它 与 目标 的 偏差 太 
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K. 那么， 能 否 选 出 比 负 梯 度 方 向 更 好 而 计算 量 又 不 是 很 大 的 方 
AE AR IY PRA RYE? 答案 是 肯定 的 ， 下 面 将 要 介绍 的 共 思 梯 
度 法 ， 就 是 其 中 的 一 种 。 | 

首先 ， 随 便 选 取 一 点 xo€ RRR" 作为 初 值 , 并 计算 ro。= 5 一 Axo。 
第 一 步 ， 仍 取 ro 作为 下 降 方向 ， 记 作 po = re。 现 假定 由 此 出 发 已 
进行 了 天 步 (kO ， 求 得 了 x, APRA, FO RAN 
先 在 直线 ( 即 一 维 超 平面 》 


I, x=x,+ap,, aER 


上 求 的 极 小 点 Xi ,1。 完 全 与 最 速 下 降 法 类 似 ， 可 得 


YA 二 MX 十 CN l (3.1) 
其 中 
Ans 1 = ?HDi /PE AP is (3.2) 
r, =5- Ax,. 


然后 ， 再 来 分 析 如 何 选 取 一 个 新 的 下 降 方向 Pi:1。 由 于 我 
们 希望 pi .1 thee WA x, ft BE apr... =b- Axi B 
好 ， 且 确定 pi,, 的 运算 量 又 不 很 大 ， 因 此 我 们 自然 应 在 经 过 点 
xi 及 包含 ri HOARE ERASE pt,i 的 选取 问题 这样 的 
二 维 超 平面 应 该 如 何 选取 呢 ? ander... = 0, Wx... 就 是 方程 组 
(1.1) 的 解 , 当 然 选 代 就 此 结束 ;如果 7 1 在 0, Ws 和 pe 是 
互相 垂直 的 两 个 非 零 向 量 (直接 验证 有 ,1P; = 0)〉， 这 就 给 我 
们 以 启示 ， 所 要 选择 的 二 维 超 平面 的 一 -个 简单 而 自然 的 选 法 应 该 
是 选取 经 过 xx 由 ri 和 Pps 张 成 的 二 维 超 平面 
Mas X=X,,,+0r,,,+ BP, 
在 Xs 内 的 最 佳 方向 ， 当 然 应 该 是 9 在 这 一 平面 内 的 极 小 点 和 
xi 的 连 线 方向 。 从 定理 2.1 知 ， 天 就 是 7, SRR 
Eni: PCY SPC) 
相交 所 得 到 的 椭圆 S 的 中 心 (参见 图 3.1)， 而 且 定理 2.1 还 告诉 
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FR, = 应 满足 
rea’ CŽ) = ple’ (7) =0. (3.3) 


图 3.1 
mM FC, eA 
T=xir HOi + Borys 
从 而 有 
P(E)= AT—b 
= AXi 4+ GATE. 1 + BoAP, — 8 
= Tri HUAT, 1 + BoAPy. (3.4) 
将 (3.4) 代 和 人 (3.3?， 并 整理 得 - 
Ai Algo + Pois AP, = Tee Teas (3.5) 
(mar. + BopiAp, = 10。 (3.6) 


易 知 ,, 这 一 方程 组 有 且 仪 有 唯一 的 一 组 解 (90,Bo)， 并 可 断 语 于 
0。 这 是 因为 ， 若 ao=0， 则 由 (3.6) 知 fo=0， 从 而 由 (G3.5) 知 
Theater =O, 这 与 resas0 的 假定 相 了 矛盾 。 因 此 ， 我 们 就 可 选 
取 新 的 下 降 方向 为 


. 1 7 
Dery = 二 (xD)=r +p, (3.7) 
Qu ao 


AY Baer =Bo/%> WRC3.6) 知 


Bir1= -PTA g41/PLAD,. (3.8) 
RE, 我 们 就 以 不 太 大 的 运算 量 确定 了 一 个 新 的 方向 P,1;, 而 且 
几何 直观 表明 ， 这 人 一方 向上? 的 最 小 值 要 比 在 7;,， 上 的 最 小 值 
来 的 小 ， 也 就 是 说 这 样 选 定 的 新 方向 比 用 负 梯 度 方 向 要 好 一 些 ， 
综述 上 面 的 讨论 ， 就 得 到 了 如 下 的 迭代 公式 ;: 
a, =T] aP -1/PY-1APs -1 
Mp =.Xy-1 +Q,P,-1> 
resp 21%, AP nas (3.9) 
Bp = ~PT-1At,/PE-1APs-1> 
Pe=t, +BiPy-1 
(K=1,2,) ， 
其 中 xoE 及 任意 给 定 ，po=ro= 一 4xo， 
选 代 靶 (3.9) 的 最 基本 性 质 可 归纳 为 如 下 定理 ， 
定理 5.1 设 对 任 给 的 初 值 z HARA KS. HT m 
次 Cm 二 n)。 则 对 任意 的 k，1<km,， 有 


(1) pTr,=0, i=0,1,° ,Kk— 1; (3.10) . 
(2) rir, =0, i=0,1,°,Kk—1; (3.11) 
(3) pTAp, =0, i=0,1;,*,k-1; (3.12) 
(4) span{rg,7,,**,7,} = span{po, Pi," sP} 

= span{ry,ATo,**,A* ro}. (3.13) 


证 明 对 上 应 用 数学 归纳 法 , 
当 k=1 时 ， 直接 验证 知 ， pori= 0， ryri= 0, PIAP = 0， 以 


及 
span{f),7,} = span{po, Pi1} = span{f7o ATo} 
成 立 ， 
现 假定 对 k=j7，1 志 jm 已 证 定理 成 并， 下 面 考虑 k=j+1 
的 情形 。 


(1) 利用 等 式 Ter HG Qt+ 1AP; 及 归纳 法 假定 ， 有 


152 


plrjyri=PpIry- QPpTAP;=0, t=0,1,°",7-1. 
又 由 于 
rypy 
DAD; 
Mx k=7+19RA (3.10) 成 立 。 
(2) 利用 另 纳 法 假定 有 
span{rg,7,,°,7 j} = span{ po, Pis", P3} 
而 由 Q1) 所 证 知 ，7j,1 垂直 于 子 空 间 span {po,…,p;}， 从 而 有 
Ts. HEAT Fla] span{7o,,7;}。 因 此 (3.11) aK MR =p +] 
成 并 。 
(3) 利用 Pjs sl jeri +pyr1D;, 有 


DOT p44 = PAT 5 — pyAP;= 0, 


PYAP 541 SPITAT; + By.1PTAD;. (3.14) 
而 由 fi11=?i; 一 Qi11Ap;， 有 
_ 1I 
AP; = (ri 一 1)。 (3.15) 
Qi. l 


将 (3.15) RA 〈3.14), 并 利用 归纳 假定 和 (2) 所 证 结 w, BI 
有 
plAP;,) = =f) +B; plAP; 
i+l 
=0, 1= 0,1,*…,7—1.。 
而 


piAp;.1=0 
是 显然 的 ， 从 而 (3.12) 亦 对 k=j+1 成 立 。 
C4) 由 归纳 法 假定 知 
rysPyE span(ro, Aro,**, Aro}, 
因此 ， 有 ws, 
Tier 5795.1 APSE span{Ty,ATo,**,A%Tg,A2* ry} 


从 而 ， 有 
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= p+ 
Pjer; i + By. 1D; span{rg, Arg, AT ry}, 


tit (2) FO (3) Bir Es Ss #2 BA, rey BEA roter A Don ee Pg 
都 是 线性 无 关 的 ， 因 此 有 (3.13) 亦 对 天 =7 了 +1 成 立 ， 

由 归纳 法 原理 即 知 定理 对 一 切 ki ck<m) oe. 证 毕 ，。 

通常 记 

KCA,T0,1) = span{ro, Aros ATT ro}, 

并 称 之 为 Kryiov 子 空间 . 

定理 3.1 表 明 : FR G.) RA POA RIA 向 量 mr， …， 
rm 是 互相 正 交 的 ; 方向 向 量 Pos Prise. Pa ce AAAI BEN: 它们 分 
dll ae Krylov PRA) KCA, om +1) 的 一 组 正 交 基 和 一 组 共 罗 正 交 
AR. FA, ee BRR man-1 Hs, RHAA=0, MEARE 之 
内 必 可 求 得 (1.1) 的 精确 解 ， 

此 外 ， 从 定理 3.1 的 (1 和 (2) 立 即 知 ， 


7 =re(r,., —@,ABy-1) = ~A,°TAP, 1， (3.16) 
Peale =r Pei r-a Pr- = 人 -ip 
=a,PT ;Ap li， (3.17) 
(3.17) 
ap =r] 10,1 /PE-1APy-2. (3.18) 
由 (3.16)，(3.17) 和 (3.8)， 得 
Be=ritalti-ate is (3.19) 


用 (3.18) 和 (3.19) 分 别 代 赫 (3.9) 中 a, 和 B; 的 计算 公式 ,就 
得 到 如 下 算法 。 
算法 3.1 
C1) 输入 A,b Fixos rob 一 Axo。 
(2) 如 果 ro=0， 则 输出 x。， 结 束 ， 否则 
Pol=los po:=r Tros k:=l. 
(3) 0,52, -1 /PT -AP tb 


X mX aP- 
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T= 


Pe-1 7 O, AP, -ly 
Parity, 
Bi:=Pr /Pr-, 
Pet: 一 7 十 有 pr-l。 
(4) ar, =0, 则 输出 x， 结 束 ; 否则 k:=k+1， 转 步 
(3). 


Z — AE PRESSE REE. RR CG (Conjugate Gradient ) 
法 。 这 样 命名 的 缘由 可 从 下 面 的 定理 明白 。 
”定理 3.2 设 算 法 3.1 执 行 到 天 = 时 结束 。 则 对 任意 的 1<<K 
<m, #A 
C1) x, ee? Æ k RCE I 
Mer X=Xg+ČoPo tP toe +S, -aP 
上 的 极 小 点 3 
《2) pt 与 9 在 点 xz 的 负 梯 度 方向 7， =b- Ax, fe m, WAHE 
超 平 面 fa, LMIERR Bia. 
WEAR ”由 定理 2.1 知 ， 售 证 (1) 成 立 ， 只 需 迹 (Gx)= -r 
垂直 于 超 平 面 a, 即 可 ， 而 这 只 需 证 
rīpi=0, 5=0,1,…, 天 -1， (3.20) 
即 可 。《〈3.20)? 正 是 定理 3.1 的 (1) 所 述 的 结论 ， 从 而 51) Big. 
由 于 Apot, AP, 是 全 ,的 法 laf, vLE, CEM. 2), 
At, a 可 表示 为 
Beer X=X +V¥, YOR, 
Hep V =[v,,0%,0,.,JE ROP VV =], H 


piAv;= 0, t=O,1,e,kK-1,7=1,-,n—k, (3.21) 
现在 考虑 ?在 倪 , .上 的 限制 
P= Plx, +V, VER 
令 r= -p (0)， 即 7 为 少 在 y= 0 的 最 速 下 降 方向 ， 并 定义 
p=Vr, (3.22) 
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那么 利用 % COD = V7 了 9'(x; )， 可 得 
p=VV"r,; (3.23) 
Hp r, = -0 (x) =b- Ax, 是 ?在 Xi 的 最 速 下 降 方向 。 
从 (3.23) 可 知 向 量 ? 在 超 平面 汉 , A Ear 一 P 与 平面 
r-t HH, Dp 


gTy; =0, i=},2,-,n—k, (3.24) 


KER E TP de, E 
平面 A, 内 的 正 交 投 
影 ( 见 图 3.2)。 因 此 ， 
只 要 证 明 ps 5 P lip, 
即 证 存在 正 数 4 使 
pP,=ap, (3.25) 
图 3.2 则 定理 3.2 的 〈2) BNA 


证 。 
-由 (3.24) 和 (3.217)7 知 ， 


> q&span{Apg,+,Ap,- 1}, 
即 存 在 常数 Bo, e,i- 1? 使 


rT, -P= PAP +*+ B,-,APy-16 (3.20) 
注意 到 
Api= (rr t=0,1,°°,k-1, 
i+] 


r= Pi PiPi-1, t=0,1,*,K, 
从 (3.26) 有 即 知 ， 存在 常数 Agste @,, 使 得 
p= G,p,+ Pite tË, De 

ERMER PTA ,注意 到 了 EZF faa 的 法 向 Ap, Ap, _, 
FIP ES Posts Pr-19P: ALAAZE SE. BRA 
- O= @ ,ptAp,;, 7=0,1,e",k-1, 
X plan; 0, KYA 
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a;=0, 7=0,1,++,k-1, 


于 是 

p=@,P.. (3.27) 
为 证 G,>0, FEE eo ex, 沿 方 向 7 的 方向 导数 ?5(x;)。 由 
D 的 定义 和 方向 导数 的 定义 易 知 


P Cx) = 9-00) = —[¥’(0) IL ¥’ (0) <0, (3.28) 
其 路 (0) 表示 在 y=0 沿 方向 7 的 方向 导数 ， 另 一 方面 ， 又 
有 | 
p Cx) = pte!’ (x,) = -—G, pir, = —4,rjr,, (3.29) 
结合 (3.28) 和 (3.29) 即 知 6. 二 0， 从 而 (3.25) 得 证 。 证 毕 。 
定理 3.2 表 明 ， 共 斩 梯 度 法 的 第 &+1l1 步 实质 上 是 锐 着 9? 在 
a, HRF Ra- 内 于 点 xz 处 的 负 梯 度 方向 了 求 ? 的 极 小 
FX pore 由 此 不 难 明 白 算法 3.1 称 作 共 力 梯 度 法 的 缘故 了 。 


§4 实用 共 斩 梯度 法 及 其 收敛 性 


41 实用 共 辆 梯度 法 
上 一 闻 导 出 的 共 轿 梯 府 法 ， 在 理论 上 ， 由 于 所 得 到 的 剩余 向 


er, 的 相互 正 交 性 ， 而 推出 至 多 帮 代 ”1 步 就 能 得 到 方程 组 ， 


(1.1) 的 精确 解 ; 但 在 实际 使 用 时 ， 由 于 误差 的 出 现 ， 使 得 7; 之 
间 的 正 交 性 很 快 损失 ， 以 致 于 其 有 限 步 终止 性 已 不 再 成 立 。 因 
此 ， 在 实际 上 ， 我 们 只 能 将 共 斩 梯 度 法 作为 一 种 友 代 法 使 用 。 这 
FE, ETE E an Fiir SE eB E. 
算法 4.1 
C1) 输入 A,b 和 xo; 
Xi—Xxos f=Axo, Po:=rTr, ki], 
(2) 如 果 K=1， 则 p:=r; 否则 
P:=Pr-1/Pr-23 Pi=r+ BP, 
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(3) w=Ap, ap, ,/pTw, 
xix +ap, r=r— aw, 
Pirr, 
C4) ANR OP, <Poe, MAR, R 否则 天 =K+1， 转 步 
(2). 


六 一 算法 ， 每 交代 一 次 ， 只 需 作 一 次 第 阵 与 向 量 乘法 运算 和 
5n 次 数量 乘法 运算 : 在 存储 上 仅 需 再 增加 4n. 个 存储 单元 存放 向 

x,p Rw BPa. 此外， 在 实际 使 用 时 ， 上 述 算 法 中 PP 的 下 
标 亦 是 不 必要 的 。 

共 轧 梯度 法 作为 -一 种 实用 的 选 代 法 ， 它 主要 有 下 面 的 优点 : 

C1) 可 充分 利用 4 的 稀 朴 性 ， 存 储 时 只 需 在 储 4 的 非 零 元 素 
即 可 ; 

(2) 不 需 预先 估计 别 的 参数 就 可 以 计算 ， 这 一 点 不 像 Cheb- 
yshev 半 选 法 和 松弛 法 等 ; 

(3) 每 次 选 代 所 需 的 计算 ， 主 要 是 向 量 之 间 的 运算 ， 便 于 并 


此 外 ， 还 圳 指出 的 一 点 是 ， 系 数 和 矩阵 为 Hilbert Jape 的 线性 
方程 组 是 典型 的 病态 方程 组 ， 无 论 是 直接 法 还 是 选 代 法 ，-- 般 都 
很 难得 到 较为 精确 的 结果 ， 而 数值 试验 发 现 花 梯度 法 却 能 得 到 
较为 精确 的 解 。 详 细 情 况 可 参阅 黄 友 谦 (参见 文献 [53) 主编 的 
《数值 试验 》 第 七 章 。 这 样 ， 是 否 可 认为 共 d 梯 度 法 是 对 付 病态 
问题 的 有 效 方 法 呢 ? 还 有 待 于 对 各 种 不 同类 型 的 问题 进行 大 量 的 
数值 试验 ， 才 能 作出 结论 


4,2 收敛 性 分 析 


将 其 斩 梯 度 法 作为 一 种 友 代 法 ， 它 的 收敛 性 怎样 昵 ? 这 是 本 
节 下 面 将 要 讨论 的 主要 问题 。 
id 
Ug =X, ~ Xa (4.1) 
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其 中 xx ATE. LA kG AR MGI, Xe = AUTOS ux 
称 之 为 算法 4,1 第 Kk 步 产生 的 误差 向 量 ， 
引 理 4.1 算法 4.1 第 天 步 产 生 的 误差 向 量 满足 : 


jushs min max fq CA)] uolas (4.2) 
gp Eri) e414) 


其 中 AL 表示 满足 (O = 1 的 次 数 不 超 过 天 的 实 系数 多 项 式 的 
全 体 。 
证 明 由 定理 3.1 和 3.2 知 ，*; 是 二 次 泛 函 ? 在 大 维 超 平面 
Mer X=Xg +EoPo tere +Ë- Pri 
上 的 极 小 点 ， 且 
span{Pa, "t, Pr -1)} =span{ry,Ary,e,A®~ rg}, 
由 此 不 难 推出 
P(X, ) = min P(x +4,CA)Ug). (4.3) 


TEF} 
由 9 的 定义 容易 验证 (4.3) 等 价 于 
ja 人 = min |9,CAdUola. Cd.4) 
gE% 


-利用 引 理 1.1, 有 
IO, (Aol aX ax [0a] Tuell as 《4.5) 


对 任意 的 9,6 PLO Ree. 将 (4.5) 代入 (4.4) 即 得 (4.2) 。 
证 些 。 
(4.2) 表明 ， 对 于 任意 的 4,€ .FO ， 量 max|49s《2)| 都 可 
作为 相对 误差 
(es bar dolla (4.6) 
WEF. EARS kp, Bae -PaELR, wie P 
面 的 优化 问题 : HCP, ff 
a OO mn, aas, aA (4.7) 
如 第 四 党 第 五 节 曾 讲 过 的 求解 这 样 一 个 离散 型 的 优化 问题 是 相关 
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困难 的 。 因 此， 人 们 通常 考虑 与 (4.7) 相关 的 一 个 连续 型 问题 


REPL, fE 
max [|q*(4)|= min max aA < 4.8) 
AEla»b] 


9,690) AEla 


HH a= Amn CA), b= hmsx(A)， 由 著名 的 Chebyshev g I A E 
和 近 定 理 知 ，(4.8)》 的 解 是 


qt(Asa,b) =T, E/T (9), (4.9) 
其 中 T(x) Æ kik Chebyshev 多 项 式 。 
现 令 
F(a,0;k) = max lai A;a, b) |, 
. A€[asb] | 
则 有 l 
l b+a\\) '_ 20% 
F(a,bsk) =(Ti( + “)) BETEL (4.10) 
其 中 
T=(Vb-Va)/(Ybt+Va), 
再 注意 到 
at O b-[va(y b +v a yt 
1+02t (wp tv a)? t+ p -vV a) 
(Vb _. Vv a) 
(p+v a) 


-DA 
就 可 得 如 下 关于 花轿 梯度 法 的 收 伍 性 定理 。 
定理 4.1 在 引 理 4. 1 的 假设 下 ， 有 


Ce eae) luotas (4.11) 
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其 中 *= xs(4) 表 示 4 的 谱 条 件数 ， 

如 果 我 们 对 4 的 谱 分 布 作 进 一 步 的 假定 ， 4.11) 还 可 以 改 
进 。 这 里 我 们 只 介绍 其 中 的 凡 个 结果 。 

定理 4.2 设 4 是 算法 4.1 产 生 的 误差 向 量 。 则 有 : 

CL) WR ACADC{A Ap Ula, 1, Heh 2, € ACA), A, 
<a,, MA 


> . 
by 

lulas Fa,b sk -np)] [; uollas (4.12) 
peat 


C2) MR ACAD La, bo IU {Ase Ap}, HER AEA), 
Ay >be, BBA | 
lui aE Cag, bssk — p) luola; (4.13) 
(3) 如 果 MAK {Ary shy? U [aa bs IU LAL se Ap} 其 中 
Ashi CMA), A dg, Ap <ag, 那么 


lpi, ay 
julas gI EO -EN Feassbssk— Dula C4.14) 
i=1! : 


”其 中 fCa,b;k) 按 (4.10) 定 义 ， 
证 明 (O) 取 


p . 
: A 
q, CA) = TL )at- (asa), 
其 中 9*-p 按 (4.9) 定 又 ， 则 易 知 qu E FO. Be 
9,0Aj) = 0， 7=1,2,°%,p 
和 


- QZ Ab, 


即 有 
(1) | 二 CV ETT Fía bk 
‘max fau ) 0 MOIS TTS Ca,,b,;k-p), 
组 利用 引 理 4.1 即 有 (4.12) 成 立 。 
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(2) R 


P 

x A 

ğ, CA) = | [(1- <r Jai- Asab), 
i i=l ' 


Way CE FY’, HE 
max |G,(A)|< max [G(A)|<F Caz, bzk- p). 
AE ACA) A€18 42d] 


再 应 用 引 理 4.1 即 知 (4.13) 成 立 。 
《3) 取 

P 7 

A - CA, — ACA, — Ad * 

GCA) = [了 ° Oi-2n (A303,03), 


WA EFP, ME 
max |q¢;,(A)|< max 1204)| 
AE AIA) ACG asd,] 


1 世人 AA? 
ore 本 1-4) F(ag,b33;k — 2p). 
realty A 


再 用 引 理 4.1 又 有 (4.14) 成 立 。 证 毕 ， 

定理 4.1 和 4.2 表 明 ， 共 轿 梯 度 法 收敛 的 快慢 依赖 于 系数 矩阵 
的 谱 分 布 情况 ， 当 系数 挎 阵 的 条 件数 很 小 ， 或 其 谱 大 部 分 集中 在 
一 点 附近 而 仅 有 少数 儿 个 远离 此 点 时 ， 可 以 期 望 用 算法 4.1 迭代 
很 少 几 步 就 会 得 到 高 精度 的 近似 解 。 大 量 的 数值 试验 表明 ， 在 这 
些 情 况 下 ， 往 往 需要 比 理论 上 估计 的 迭代 次 数 更 少 的 迭代 次 数 就 
可 得 到 所 需 精 度 的 近似 解 。 这 一 现象 就 是 所 谓 的 共 Pe RR 
“ 超 线 性 收敛 性 ”。 


$5 fats yee RR 


EA dE Be BB EPEC OE HES) Br EH, 24 BE ETE 
(A BEB ATWhAD AE POX fal LA, FE 5a BB E ye Oe a HE 
可 能 会 变 得 很 慢 。 大 量 的 数值 试验 也 充分 证 实 了 这 一 点 。 可 是 ， 
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在 实际 应 用 中 却 经 当 遇 到 这 种 情况 。 因 此 ， 如 何 提高 共 罗 梯度 法 
的 收敛 速度 就 显得 非常 重要 ， 并 成 为 近 二 十 多 年 来 研究 的 一 个 重 
要 课题 。 

定理 4.1 和 4.2 启 发 我 们 ， 如 果 能 够 选取 一 个 非 奇 异 矩 阵 C ， 
使 4=C~!AC-T 的 特征 值 分 布 在 一 个 较 小 的 区 间 内 ， 或 分 布 较为 
“集中 ”的 话 ， 那 么 应 用 共 轿 梯度 法 于 方程 组 

Ax =b, (5.1) 

其 中 =CTx, 6 =C-， 将 会 有 较 快 的 收敛 速度 ， 进 而 可 以 提高 
求解 (1.1)》 的 速度 。 
”将 共 轿 梯度 法 应 用 于 方程 组 (5.1) 的 迄 代 公 式 具体 地 写 出 来 
就 是 : 


ak = FET/ BAP E> 
Xk = Fi + akk, 
Fy = Fr — 4, ADB,, (kK=1,2,e), 


其 中 是 任 取 的 初 值 ， Fo =b- Ady, Pi = Foe 
按照 上 述 公 式 BBA, HU 4=C UAC Hb, ii A. 
需 将 迭代 得 到 的 近似 解 3x ee ERX, = CTF, EMA AAC. 
的 近似 解 。 实 际 上 这 些 都 是 不 必要 的 ， 作 变换 
xk=C Fp, Th =CPy, Pr=C Tk, 
Hid M = CC ， 代 入 上 面 的 各 式 ， 即 可 得 到 如 下 的 算法 . 
算法 5.1 
C1) 输入 A,M,b 和 xo; 
ro:=b — Axo, Zotz Mo fos Puzo, 
Py=trhz,, ki=1, 
(2) wi=Apy, 2k'= Pk / PIW, 


Xk'=Xk -1 takPko k5 kl T ORW, 
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zp 5M res Pk = EEk 
BKE=Ppk/Pkis Prii™Zk + BePke 
(3) 如 果 Px 二 P02, 则 输出 ©, Hs BM kk + 1 转 步 (2)。 


这 一 算法 称 作 预 优 共 斩 梯 度 法 ， 也 有 的 作者 称 作 预 条 件 共 上 
梯度 法 , 简称 PCGCPreconditioned Conjugate Gradient) 法 ; MPR 
VFR eB BE . 

AY Sa KAZE Beh BETH AS AE AC PEE AL, EE BD 7 ead led Ee 
MARAE 7 5 TH AL 

riM“r;=0, ij; (5.2) 
pPTAp;=0; ish. (5.3) 


此 外 ， 易 知 算法 5.1 产 生 的 xx 满足 
Jer eda (EH) eal 6.4) 


其 中 x 为 M-1A 的 最 大 特征 值 与 最 小 特征 值 之 比 ，x* = ATID, 

现在 的 问题 是 M 应 该 怎样 选取 最 好 。 从 算法 5.1 可 以 看 出 , 远 
代 的 每 一 步 都 要 解 一 个 形 如 Mz =?+ 的 方程 组 。 因 此 ,一 个 较 好 的 
预 优 矩 阵 M 应 该 具有 如 下 的 特征 : 

C1) M 对称 正定 ; 

(2) M 应 该 与 4 的 稀 蚊 性 差不多 ， 

(3) MT!A ( 即 A= CACT) 的 特征 值 分 布 “集中”; 

(4》 形 如 Mz =y 的 方程 组 容易 求解 ， 即 M 应 具 有 某 些 特殊 
形状 ， 如 块 对 角 ， 或 三 角 生 阵 的 乘积 等 ， 

要 找到 同时 具备 这 样 一 些 特性 的 预 优 失 阵 M 并 非 一 件 易 事 ， 
下 面 我 们 从 几 个 侧面 来 提供 一 些 选 择 M 的 有 用 信息 ， 

为 此 ， 我 们 来 考虑 算法 5.1 的 一 种 等 价 形式 。 由 


Xgl Xk- T ik-1Pk-19 
可 得 
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a 
Pr-1 Gg k-17 Xk-2). (5.5) 
于 是 有 


BEN Capi- tea) (5.6) 
"k-1 


Py = Zk- + Bk-1Pk-1=Zk-1 t 


从 而 有 
_ _ Pki 
Xk =X pi F akPk =X pip t akl Zk- +a, "(Xk—1™ Xk-2) . 


(5.7) 
对 (5.7) 稍 加 整理 ， 可 写成 7 
Xk =X pg +O, VE TKI + XR_-1 — XR 2)> (5.8) 
其 中 or 和 和 是 参数 。 下 面 来 推导 这 两 个 参数 的 计算 公式 。(5.8) 
两 边 左 乘 - 4， 并 加 上 85， 然后 再 利用 Mz,=7r,=b-Ax,, BA 
Mz, = MZ 2- 0kYk AZ 1 + Mz 一 Ma D). (5.9) 
再 注意 到 
riM'r;=0, =>27Mz;=0, ij, 


在 (5.9) PRWA BIER JM =f, 得 


0= — Op OY R12 er AZ 1 Zk-1MZk1), (5.10) 
0= zk Mea — Wk CPR 2p -2AZy_1 + RAM..2). 
(5.11) 
AACS. 10) 
Ven =2,-1M2,_,/2}_,Azp 1. (5,12) 
从 (5.11) 得 
Op = CL + Yk Tk a As/ TR M2 ) 1. (5.13) 


为 了 尽 可 能 减少 计算 wx 的 运算 量 ， 我 们 给 出 zf_2Az,_ MB 
一 种 等 价 表述 . 在 (5.9) HETER k 换 作 大 - 1， 并 且 在 两 边 左 乘 
Zk- WA 


zp-1Mz,_,= = Wy -22 有 TASK-a。 (5.14) 


由 (5.14) 和 (5.13) 可 得 
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o= (1-2. 2 ky ， (5.159) 


Yr-2 Ok- Zk-2M2k-2 
这 样 ， 我 们 就 得 到 了 理论 上 与 算法 5.1 等 价 的 另 一 种 算法 . 
算法 5.2 
C1) 输入 4 ,2,AT 和 Xps 
:=b— Axo, zM Tros Po:~=2 tro, 
yo:=Po/ zd As。 
(2) Xi:=xo + MZ. TYSO-AxX,, #1=MT Ir, 
Wi:=1l, Pi:=21ri, Kk:=2, 
(3) wis=AZp_1, Yk- ŒP k-1/2h 1s 


Yk- 1 a) 
人 :一 (人 -E s —. -* 
k (1 Yk-2 OK -1 Pk-o > 


X= pg + Or VR IT 1 + XK-1 Xk-2)y 
太一 六 一 Axp, 2,:=M™'r,, 
PRIZE he 
C4) 如 果 Pr 过 20s, 则 输出 zz 结束: 否则 :二 Kk + 1,243), 
下 面 我 们 来 看 ， 将 算法 5.1 改 写成 算法 5.2， 在 寻找 M 的 问题 
上 ， 会 给 我 们 提供 一 些 什么 样 的 信息 ， 
TERR IRRKARKG. BP, S oky l, WS 


Mp = Zp 1 tX yp. (5.16) 
再 将 2,2. MC- Ax,_D{tA©.16), HERM, 4 
Mx, =Nxy_, +b, (5.17) 
其 中 
N=M-—A; 
即 | 
A=M-N. (5.18) 


这 样 ， 从 另 一 角度 来 讲 ， 算 法 5.2 可 以 看 作 是 对 应 于 基本 选 
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代 法 (5.17) 的 一 种 加 速 方法 .这 启发 我 们 可 充分 利用 现 有 的 适 
代 法 的 分 裂 方式 来 产生 M。 例 如 ， 基 于 SSOR 迭代 法 的 分 烈 方 式 ， 
可 取 预 优 和 矩阵 人 为 

M=(D-«aC,)D'(D-o0C,), 


HipA=D-C,-Cy, DERN REM, BYRE SPREE, 
o 是 松弛 因子 。 这样 选取 M 得 到 的 PCG 算法 通 常 称 作 SSOR-CG 
法 ， 它 在 实用 上 是 一 种 很 有 效 的 方法 ， 详 细 的 讨论 可 参见 文献 
(38]. 
再 如 ， 许 多 精 圆 偏 微分 方程 的 离散 化 形式 是 一 个 系数 扼 阵 为 
A= M, Fam 
7 | pr ,| m 
的 线性 方程 组 ， 其 中 A 对 称 正定 ， 且 形 如 M121= 了 1 和 六 ,zs = ra 的 
方程 组 容易 求解 。 此 时 ， 自 然 取 
Mı 07 
0 wl 
HWRE, ATG SHIT AEBSF Bt Jacobi ERRINA TK 
一 J-CC 法 ， | 
在 结束 本 节 之 前 ， 我 们 需 顺便 指出 的 是 ， 算 法 5.2 的 另 一 个 
优点 是 可 以 较 容 易 地 推广 到 一 类 非 对 称 的 线性 方程 组 的 求解 问 
题 。 因 此 ， 亦 称 这 一 算法 为 广义 共 罗 梯度 法 。 


vl 


设 线 性 方程 组 
Ax=b 
AD Fa Be PRE A SEAS HH, HARM POR 
A=M-N, 


其 中 M 是 对 称 正定 矩阵 ， 和 为 反对 称 矩 阵 。 则 容易 看 出 ， 此 时 ， 
可 以 完全 照搬 算法 5.2， 而 得 到 求解 这 类 方程 组 的 算法 ， 
对 任意 的 系数 矩阵 4， 重 有 
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+ 


= 了 3A+AT) -EAT A), 


令 M = 于 (4+4?)，N= 羡 (47- 4)， 显 然 有 M 对 称 ,N 反 对 称 。 


因此 ， 只 要 3 (4+AT) 正定 ， 则 原则 上 就 可 以 应 用 算 靶 5.2。 但 


这 种 情况 下 ，M-! 未 必 是 容易 求 出 的 。 因 而 实际 应 用 时 仍 有 一 定 
的 困难 ， 这 是 一 个 仍 需 进一步 研究 的 课题 . 


$6 不 完全 分 解 预 优 技巧 


大 家 知道 ， 预 优 共 斩 梯 度 法 成 败 的 关键 在 于 预 优 算 阵 M 选 择 
的 是 否 恰 当 。 在 共 恩 梯 庆 法 发 展 的 初期 ， 由 于 人 们 只 是 利用 一 些 
矩阵 的 简单 分 裂 方 式 来 选取 预 优 矩 阵 M， 以 至 于 使 得 很 多 情况 下 
收 伍 速度 的 提高 并 不 十 分 明显 ,因而 致使 共 轿 梯度 法 自 间 世 之 后 ， 
二 十 多 年 来 一 直 没 有 得 到 广泛 的 应 用 ， 直 到 七 十 年 代 后 期 ， 两 位 
荷兰 数学 家 Meijerink 和 Van der Vorst 才 将 Cholesky 分 解法 和 共 
思 梯 度 巧妙 地 结合 起 来 ， 提 出 了 一 种 称 作 不 完全 分 解 预 优 共 圈 梯 
度 法 。 这 类 方法 ， 由 于 其 运算 量 往往 可 与 直接 法 媲美 ， 而 又 具有 
和 友 代 法 节省 内 存 的 优点 ， 因 此 受到 人 们 的 推 嵌 ， 成 为 近 十 年 来 国 
内 外 研究 的 热点 。 这 使 得 线性 方程 组 的 求解 方法 经 历 了 相当 长 的 
平稳 发 展 时 期 以 后 ， 终 于 发 生 了 突破 性 的 进展 。 
所 谓 不 完全 Cholesky 分 解 ， 就 是 将 4 分 解 成 
A=LL™+R, (6.1) 


其 中 工 是 下 三 角 和 矩阵 , R RPE RRR. PX A RATE, 
因此 工 中 哪些 元 素 为 零 可 以 预先 规定 。 这样 ， 我 们 就 可 以 要 求 工 
与 4 保持 同样 的 稀 蓝 性 ， 或 者 具有 我 们 希望 的 某 种 稀疏 性 ， 从 而 
死 服 了 完全 Cholesky 分 解 破坏 4 的 稀 蓝 性 的 缺点 。 

不 完全 分 解 预 优 共 轿 梯 度 法 ， 就 是 先 对 4 进行 形 如 (6,.1) 的 
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不 完全 Cholesky 分 解 ; 然后 ， 以 M = LL" 作为 预 优 年 阵 来 应 用 
PCG 方法 。 因 此， 为 了 使 所 得 到 的 PCC 方 法 收敛 咏 可 能 快 ， 就 需 
- 要 LL7 尽 可 能 地 接近 于 A. 

形 如 (6.1》 的 分 解 有 相当 大 的 灵活 性 。 一 是 工 的 哪些 元 素 为 
零 可 根据 不 同 的 要 求 来 指定 ， 二 是 尺 的 选择 上 亦 有 相当 大 的 自 册 
度 。 近 十 几 年 来 ， 人 们 针对 不 同类 型 的 问题 ， 利 用 分 解 (6.1) 的 
灵活 性 ， 已 经 提出 了 各 种 各 样 的 不 完全 分 解 。 这 里 ， 我 们 将 着 重 
介绍 人 们 公认 的 并 得 到 广泛 应 用 的 一 种 不 完全 分 解 


6.1 松弛 不 完全 LU 分 解 


设 4=[ai;jE R"*"* 是 一 给 定 的 矩阵 (不 一 定 对 称 )。 令 
Fa={Cgf): LSIN An), (6.2a) 
B= {DE Fn: 0X0 (6.2b) 
对 于 .有 的 任 一 含有 多。 的 子 集 .了 祈 和 任 一 参数 ©, Sos, 
我 们 说 4 有 关于 .条 和 的 松弛 不 完全 LU 分 解 (简称 RILU 分 解 )， 
是 指 和 矩阵 4 有 如 下 分 解 


A=LU+R, (6.3a) 
其 中 上 = [i; jy] 是 单位 下 三 角 和 矩阵 ， 且 满足 
i,;=0, EF DAT H. >J; (6.3b) 
U=[u, JE EZAM, 并 满足 
ui, =0, C, DAZ H i73; (6.30) 
R=[r;; WE l , 
ri;=0, G, DET, (6.3d) 
rii= Orij, if=1,2,°",n, (6.3e) 
jai . 
Epi © RERE. 


在 上 述 分 解 中 ， 如 果 w = 0， 则 对 应 的 分 解 就 是 著名 的 不 完全 
LU 分 和 解 (简称 为 [LU); 如 果 %=1， 则 对 应 的 分 解 就 是 通常 人 们 
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所 讲 的 修正 不 完全 LU 分 解 〈 简 称 MILU 分 解 )， 

对 于 给 定 的 年 阵 4 ， 如 果 它 有 松 弛 不 完全 LU 分 解 ， 则 我 们 
可 以 用 Gauss 消去 法 稍 加 修正 实现 分 解 (6.3)。 上 具体 分 解 过 程 可 
叙述 如 下 ， 记 4, = A， 对 k=1,2,…,n 一 1 依次 进行 : 

(1) Gauss 消去 。 用 Gauss 变换 将 Aj = Lo} |i k 列 的 第 天 
个 元 素 之 下 的 元 素 全 部 消 为 零 ， 即 计算 


A, = Ly, Ay, = Ag — lye, (6.4a) 

其 中 
p=(0, ,0 lrg nk) E R”, (6.4b) 
1, = aQ/ak, = 天 二 yn (6.40) 
ay = CFA, = (05% 0,044) a) (6. 4d) 
L,=I-l,ef (Gauss 变换 ); (6.4e) 


(2) BE. EA, =L] EKE LA ARE MBE HE, 并 满 
足 对 角 元 素 的 特定 要 求 ， 即 计算 


| Ans, =A, - Rx, (6.54) | 
其 中 Rk = (pe MF 
ah, k+ISiINISnE G, DAT, 
n 
Malo S) a, k+isisi<n, (6.5b) | 
Fe v(ksi) 
0, 其 他 ， 


这 里 Ck, D= tp K+ lapan, Ps， G, MDAT}. 
A 


L=(La eL), U= An, R= D Ra (6.6) 


则 工 ,U 和 只 满足 (6.3) 的 所 有 要求 。 事 实 上， 由 上 述 的 消去 修 
正 过 程 ， 我 们 易 知 : . 
CL) Ak+1= Cats J 具有 如 下 形状 


Akt AKD 
Ass = | | 


LO Agp 01? (6.7) 
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其 中 AW UB kxk b= FARE, AY G, DEZES BM, akn.. 
=0, k=0,1,*,n—1,。 
(2) UU 的 第 k 行 就 是 AS ky, HN 


up =elLU=efTA,=a,, Kk=1,2,.,n, (6.8) 
(3) L= +l e] +e tly ael 
1 
lt 1 0 
=} l ls 1 ， (6.9) 
lni lne Lasn—t 1 


其 中 心 ;由 (6.40) 给 出 ， 
因此 ， 由 6.4) 一 6.6) 产生 的 工 和 如 分 别 满 足 (6.3b》 和 
(6.3c)。 再 将 (6.4a) 代入 (6.54), AA 


Ajpri= Ay — lrar— Rye (6.10) 
从 而 有 
n-1 n-i 
An=A -> lkap- D, Rp (6.11) 
天 = 了 k=1 


注意 到 A, =U, A =A, 以 及 
, LU =U +l, pee +l, iHn 
-U + lia, 十 ee tin lnis 


从 (6,.11) 可 知 
A=LU+R, (6.12) 


此 外 ， 从 尺 的 定义 〔6.6) 和 (6.5b) 知 尺 满足 《6.3d) 和 (6.3e)。 
为 了 更 清楚 地 了 解 这 一 分 解 过 程 ， 现 在 再 举 一 例 。 
例 6.1 iz 
3 -1 0 -2 
a |-2 4 -1 0 


RAREST = gs 和 w= 1 的 松弛 不 完全 LU 分 解 。 
利用 刚才 介绍 的 消去 修正 法 ， 要 求 的 分 解 可 用 三 步 完 成 ， 


73-1 0 -2 
(1) A,=L,A= 0 10/3 —] -4/3 ， 
0 0 I -1 
0 -1/3 -1 4/3 
其 中 
L,=1-1l,eT, li = (0, =- 2/3,0, -1/3)7, 
3 -] 0 -2 
A,= A,~-R,= 0 2-1 0 9 
0 0 一 1 
0 0 -1 I 
其 中 


“0 0 0 0 


Ri-|0 4/3 0 -43|， 


-0 -1/3 0 1/3 
(2) A, = A,= A), R,=0, L=; 


~ 9 _ 
(3) A; = L;A; = 0 l 0 9 


0 0 1 -1 
0 0 0 0 
其 中 
L3=!-l,eT, 1,=(€0,0,0,-1)7, 
A, = 4， Ra = 0, 
于 是 我 们 求 得 
1 0 00 3 -1 0-2 
J-|-2/3 1 00|，r=1o0 2 -1 of 
0 0 10 0 0 1-1 
-1/3 0-11 0 0 0 0 
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0 0 0 0 
0 4/3 0 -4/3 
0 0 0 of 
0 -1/3 0 1/3 
直接 验证 可 知 A= LU +R。 

对 于 给 定 的 矩阵 A 及 .了 和 ww， 容易 看 出 ， 消 去 修正 过 程 不 中 
断 的 充分 必要 条 件 是 

aR, k=1,2,e,n-1, (6.13) 

Aut, ARB: 4 具有 什么 性 质 才能 保证 (6.13) 成 立 呢 ? 这 
里 ， 我 们 只 给 出 一 个 容易 验证 而 且 很 多 偏 微分 方程 的 离散 化 方程 
组 都 满足 的 条 件 。 

定义 6.1 设 4=[Foi 门 ER 。 如 果 它 满足 


la [> e; 1=1,2,°,n, 


则 称 At A h ABER. 

定义 6.2 A=[4,,JCR "REE MB, MRE: 

CL) @,;2>>0, f=1,2,° 52 -1,4nn 20; 

(2) 4,530, 17; 

(3) ni >i, i=1;2, e,n l, | 
其 中 n(t) = max{]: ijn, a, jœ 0}, HH nod 4A 的 第 t 行 元 素 
中 最 后 一 个 非 零 元 素 所 在 的 列 。 | 

定理 6.1 设 A=[a;;]jJER""* 是 对 角 占 优 的 M ERE, Mh 
消去 修正 过 程 (6.4) 和 (6.5) 产后 的 矩阵 A1,A,,… ,An 都 是 对 角 
Sot Mek, maa 


(1) afte xaf <0, kL NSN, (6.14a) 
(2) Sp VSP 0, 1 二 天 十 7， (6.14b) 
(3) O<alk* Valk, tok+1,,n~I], (6. 14c¢) 
(4) 0a P <a, (6.144) 


其 中 SY 表示 Ax 的 第 i 行 元 素 之 和 ， 即 
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n 
th) — S* Qi) 
SH = > 25 。 

j=1 


证 明 ”用 数学 归纳 法 证 之 。 

ATA = AJ k = 1 时 41 是 对 角 占 优 的 ERE. MRE A 是 对 

” 角 占 优 的 庭 矩阵 ， 我 们 来 证 Ax+1 亦 是 对 角 占 优 的 M 矩阵 。 由 于 

Ane ARMIA k 行 完全 相同 ， 而 Ak+1 又 具有 (6.7) 所 示 的 形状 ， 
故 只 需 证 它 的 右 下 角 的 (n-k)x(n-k) PERE 

eM, aes oe afk 

Atty 1 一 ae Oona SJR 


SOG FFG CHd FOS 04S FOS 655 CEH S35 BOS THE ODO 


REN agn me ah 
JE Ah 5 ES Ey 
比较 (6.10) WAER, FE RB. aM RAE, BE 
有 
ak -lirak G DET, 
akt D = 0, C,G7 His, 
j 
a -lakto D, Coe—tjna), i=j 
Fesik»ij) 
G, j=k+l,k +2,0). (6.15) 


HAR eee, @<0, icc, lik= 08/8 <0, Wi 
(6.15) 立即 知 

akr D =a} —lalh<a<o, GNETF, 

aki =0= ats, GET B. ixj, 
BU(6.14a) 成 立 。. 

再 利用 归纳 法 假定 Ar 是 对 角 占 优 的 站 矩阵 和 (6.15)， 即 知 
HED i, kti<i<n, A | 


n 


Ia >) (k+1) 
Stet 一 Qi 


fuk+l 


i74 


= > cat; 一 nae}? + Cor - 0; aye?) 


j=k+ 
de 


(kd tk? 
+ >, Cap — likdkp). 


Pe sriksi} 
n 
tk) tk) 
> D, O hag) 
j=k+1 
n n 
— (k) > ， tk) 
一 Od lik akj 
j=k+1 j=k+1 
一 ) 
= (SF? = a yl, KCSE - atk) 


+S - reese SY 0 


akt D 一 > jakt Vl = 3 akeD= SF 1 >0, 
Ei 


i=zk+l 
{二 K+] 
tia AGS” LARSEN, HA 
n-i 
aly > D>) lek? “>20, 
ey take 

a jenn alk >> > lak; Dj [a 1) 
Re aes 


== (A, 2¢i)|->0 (1=k+1," ,7 — 1), 
其 中 nm) 是 4 的 第 工行 最 后 一 个 非 零 元 素 所 在 的 列 。 
此 外 ， 由 (6.15) 和 归纳 法 假定 亦 有 
akt = atk) -l pako ` cal) —1, pa) 
pes(k»#) 
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ARi= Kil1,,n), 
因此 有 (6.14c) 和 (6.14d) 成 立 ， MA ASS Æ M ER. 

推论 6.1 I AER” 是 对 角 占 优 的 下 矩阵 。 则 对 和 在 意 的 指 
PET (FaDFZ II NMtE EUROS), MTEAR 
于 人才 和 ww 的 松弛 不 完全 LU JH. 

这 里 需 特 别 指出 的 一 点 是 ， 虽 然 在 定理 6.1 的 条 件 下 保证 了 
松弛 不 完全 LU 分 解 的 存在 性 ， 但 这 并 不 能 保证 分 解 所 得 到 的 U 
是 非 奇 异 的 (参见 例 6.1)， 即 可 能 有 4 中 = 0。 

对 于 给 定 的 矩阵 A= [0; JER", ERREZ, Tr DID 
多 a， 和 参数 6。，0 达 6 所 1， 在 计算 机 上 求 4A 的 RILU 分 解 时 ， 可 将 
存放 在 A 的 下 三 角 部 分 ，U 存放 在 4 的 上 三 角 部 分 ， 而 一 般 
并 不 需要 ， 因 而 不 保存 它 。 这 样 ， 前 面 介绍 的 消去 修正 法 就 可 归 
纳 成 如 下 的 实用 算法 。- 

算法 6.1 

CL) HAA, = FGDs i=1,2, yn} r= 

(2) di=a,,, i=r+1, | 

(3》 MEGET H, <0, MBO: 否则 ， 转 步 (8). 

(4) e:=a,,/a, @;,=e, por+. 

(5) dna, j 关 0， 则 转 步 (6); 否则 转 步 (7)。 

(6) MEG DEF, MI 

a; j 50; el, G3 
否则 ' A;a; —wed, je 

(7) 如 果 了 二 n， 则 产 =7+1， 转 步 (5); 否则 转 步 (8). 

(8) 如果 1 二 n， 则 =1 +1， 转 步 (3); 否 则 转 步 (9)， 

(9) 如 果 r<ma -1， 则 六 =r+1l 转 步 (2); 否则 输出 有 关 信 
B, ER. 


6.2 ”松弛 不 完全 Cholesky 分 解 


现在 我 们 再 来 考虑 4 为 对 称 正 定 的 情形 .此 时 ,我 们 亦 假 定 指 
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Phe pt: 
ore Sat 
a eres. E 
Bets: Ss tare 


标 集 .元 也 是 对 RH, PHU DET, WBRAGOETZ. WH 
于 非 对 称 情 形 的 RILU 分 解 ， 我 们 可 以 考虑 A 关于 .和 w 的 松弛 
不 完全 Cholesky 分 解 (简称 RIC 分 解 ): 


A=LDL* +R, (6.16) 


JEP LERE = SARE LL (6.3b), RE RA E BRIE 

(6.3DFIC6. 3e), DAHMA. Bn, IER RIERA, mi 

且 亦 可 采用 前 面 所 讲 的 消去 修正 法 来 实现 分 解 (6.16)， 即 先 用 消 

KEER AH RILU 分 解 
A=LU+R, 


然后 A D = diag (uy, ,unn) 为 U 的 对 角 元 素 作 成 的 对 角 和 矩阵 ， 
便 得 到 了 (6.16) 中 的 上,D AIR. 

大 家 知道 ， 我 们 求 分 解 式 (6.16) 的 主 要 目 的 是， 希望 能 用 
M= LDL 作为 预 优 息 阵 ， 以 提高 求解 方程 组 (1.1) 的 效率 。 而 这 
就 需要 LDL 是 正定 的 。 下 面 的 定 理 就 给 出 了 保证 这 样 得 到 的 
LDL" 是 正定 的 一 个 充分 条 件 。- 

.定理 6.2 设 AER"*" 是 对 称 弱 严 格 对 角 占 优 的 让 矩阵 ， 则 
对 任意 的 对 称 指标 集 . 玉 ，. 广 ,二 .二 Zh， 和 任意 的 松弛 参数 64， 
0Sw1，A 邦 有 关于 祖 和 的 松弛 不 完 爹 Cholesky 分 解 

A= LDLT +R, 
B LDL? 是 对 称 正 定 的 ， 即 万 的 每 个 对 角 元 素 都 是 正 数 ， 

证 明 完 全 类 似 于 定理 6.1， 因 此 留 作 练习 。 

在 下 面 的 讨论 中 ， 我 们 假定 4 满足 定理 6.2 的 条 件 。 此 时 ， 
当然 我 们 可 以 在 算法 6.I 的 基础 上 ， 利 用 4 的 对 称 性 给 出 求 4 的 
RIC 分 解 的 算法 。 但 我 们 亦 可 从 Cholesky 分 解 出 发 稍 加 修改 求 得 . 
这 里 上 略 去 其 详细 推理 过 程 ， 只 给 出 实际 求 了 和 工 的 具体 算法 ， 

算法 6.2 

CL) BAA, SAO; i=l, d;:=0, i=1,2, e,n, 
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j-1 
k=1 


j-1 
(3) pb:=a;};~ S Lirdrlike 
k-1 


(4) 如果 (i,7) EF， 则 
l; pos 
否则 
d;:=d;+0ß, d;:=d; +0f. 
(5) 如 果 i<<n， 则 =i +1， 转 步 (3);， 否则 
Py gHl, g/dy, = 7 +1,74+2,0,n, 
(6) 如 果 7<n， 则 j=l B42); 否则 输出 有 关 信 息 ， 
结束 . 
由 算法 6,2 算 出 工 和 了 之后， 我 们 就 可 以 用 M = LDL 作为 预 
优 和 矩阵 ， 应 用 PCG 算法 5.1 求 出 方程 组 (1.,1) 的 解 ， 这 就 是 所 谓 的 
不 完全 分 解 预 优 共 轿 梯 度 法 . 当 %= 0 时 ,就 是 所 请 的 ICCO 方法 # 
“w= 1 有 时 ,就 是 所 谓 的 MICCG 方法 .数值 试验 和 实际 应 用 的 结果 
表明 ， 大 多 数 情况 下 ，MICCG 方法 优 于 ICCO 方法 ， 而 且 通 常 的 
最 优 松弛 参数 。 是 与 1 比较 靠近 的 。 


6.5 分 块 不 完全 Cholesky AHF 


设 A 为 形 如 
D: AT 0 
D 
A=| > 7? aT (6.17) 
L 0 Am Da 


WOM PERS RE, FORD, 是 mx x mx WERE, Ar 是 
my X my, 对 角 阵 ( 即 A, = COKE a= 0, FSA). 
当 A 是 正定 集 阵 时 ， 它 有 分 抉 Cholesky 分 解 : 
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A=(S4 DS (5 +L"), (6.188) 


其 中 
0 0 
L=-|* y 7 ， (6.18b) 
0 Am 04 
ZAHRI AERE, EBRD, Pm Are ERE: 
Z1= D!, 


Fk= Dr—ArTil AT, k=2, m, (6.18¢) 


因为 三 对 角 和 矩阵 的 道 一 般 是 一 个 秽 密 的 矩阵 , 所 以 由 (6,18c) 
产生 的 忆 不 再 有 稀 芯 性 。 因 此 ， 车 用 分 块 Cholesky 分 解 来 求 系数 
算 阵 为 (6.15) 的 线性 方程 组 (1.1)， 则 整 个 计算 过 程 的 存储 量 会 
大 为 增加 。 这 就 促使 我 们 寻找 合适 的 预 优 矩阵 MM 应 用 PCG 方 法 来 
求解 这 样 的 方程 组 。 
一 个 很 自然 的 想法 是 ， 在 (6.18c) 中 用 371 的 稀疏 近似 扎 阵 
A, HARE D RE 
Ay = Dıs 
A;=D;-A;A;Al, t= 2,e,n, (6.19a) 
其 中 A; 是 47 的 某 种 稀 朴 还 似 。 这 样 一 来 ,代替 分 解 式 (6.18a)， 
我 们 得 到 了 A 的 分 块 不 完全 Cholesky 分 解 ( 简 称 BIC) 分 解 : 
A= (ZF+L)ATICA+LT) -R, (6.19b) 


其 中 A= diag(A,,**,Am), A; 由 (6.19a) 确 Æ, R= diag(R,,-, 
Rn), R; 由 下 面 的 公式 递 推 地 产生 : 
R,=A,-D,=0, 
R;=4; -Dı tAiAiliAT, i=2,°,m, (6.190) 
从 而 我 们 可 选取 
M= (A+L)ATICA + LT) (6.20) 
作为 预 优 和 矩阵， 
现在 的 问题 是 ，4; 应 该 怎样 选取 呢 ? 为 此 ， 我 们 先 介 绍 一 个 
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关于 对 称 三 对 角 和 矩阵 求 逆 的 重要 定理 ， 
定理 6.3 LET 是 正定 对 称 三 对 角 和 矩阵 ， 


a, Be 

一 a E ° 

T= Be 和 。 » i50, 1= 1。 
' n . Pn 
0 


Bn an 
则 存在 两 个 n 维 向 量 4 = (u,e, Un)" 和 v= 《un 使 得 
UV, Uy, se yy | 


Ugla es Uo yn 


T= ar (6.21) 


而 且 xi ,>， 可 按 如 下 公式 递 推 地 产生 : 


u= l, = ~ a,/B» 


f B; Q. i 
eee (Ft » 1=2,."*,n—1, 
i+ it 


p 1 一， 
n 
Brnun_1 t+ Onn 
An 
Vn-1= 7 Bn Vay» 


(6.22) 

证 明 留 作 练习 。 

此 外 ， 在 一 定 条 件 下 ， 可 证 六 :的 三 对 角 部 分 是 7 :的 很 好 的 
近似 (参见 本 章 习 题 12)。 因此、 选取 A, 的 一 个 简单 而 且 有 效 的 
方法 是 选取 A; 是 4i: 1 的 三 对 角 部 分 ,这 样 就 得 到 了 求 形 如 (6.20) 
的 预 优 算 阵 的 有 效 算 法 .。 

算法 6.5 
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(1) IA Az Am Dis, Dm. 

(2) Ay=Dy, i:=2, 

(3) A,=Aj!, 的 三 对 角 部 分 (用 (6.22) 和 (C6.21) 计 算 )， 
Ai:=D; -A AAT 

(4) WÈ i<n, WW =i LEGAU HARE, E. 


关于 这 一 算法 的 可 行 性 癌 题 ， 可 参看 文献 [28](Concus 等 
《1985))， 这 里 不 再 详 述 。 

此 外 ， 在 实际 应 用 时 ， 由 算法 6. SRA, 之 后 ， 我 们 还 需 对 
A; Hfr Cholesky 分 解 


然后 用 
Lı 0 Li Wt 0 
W: L: Lt 
M= so, _ wt 
0 Wn Lail? Lz 
作为 预 优 矩阵 来 应 用 PCG 方法 ， 其 中 
Wi;i=A:LiT1; i = 2,*" ,1 


当然 ， 在 实际 计算 时 ， 也 并 不 需要 具体 地 计算 W, REAR 
子 形 式 保存 W; 即 可 ， 这 是 由 于 实际 计算 时 只 涉及 求解 形 如 Mz = 
7 的 方程 组 之 故 。 

对 于 二 维 偏 微分 方程 的 离散 方程 组 ， 分 块 不 完全 分 解 预 优 共 
eb RETA BE BSE BD ATH SE eS Ey, EP SAS 
情形 数值 试验 的 结果 表明 其 效率 不 如 后 者 (参见 文献 [67]) 。 


$7 求解 韭 正定 线性 方程 组 的 共 轿 梯度 法 


这 一 证 ， 我 们 来 考虑 如 何 将 前 面 几 节 所 介绍 的 关于 求解 对 称 
正定 线性 方程 组 的 共 轿 梯度 法 推广 到 一 般 的 线性 方程 组 
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， AX = b, (7.1) 
这 里 仅 假 定 4 是 一 个 已 知 的 2 x ? 非 奇 于 实 年 阵 ， bégn 
向 量 ，x 是 待 求 的 = 维 未 知 向 量 。 


7.1 正规 化 方法 

应 用 CG 法 到 方程 组 (7.1) 的 一 个 简单 易 行 的 方法 就 是 利用 CG 
法 求 (7.1) 的 正规 化 方程 组 

ATAx= ATb (7.2) 
的 解 ， 其 具体 算法 如 下 : 
算法 7.1 
(1) 输入 A,b ÑU xos; 
XxX:—xo, Ti—=b ~ AX), 万 :一 ATT， 
Po:=p "7n, k:=0, 
(2) wi Ap, 9:=Ppy /wTw, 
xix +ap, rimr—aAp, 
v=ATr, Py, i:=v Ty, 
Bk =Pk+i/Pks PVU + BRD. 
(3) 如 果 Pp. Pots Mil Re dts, R; 否则 kkl, $E 
(2). 

这 一 方法 作为 求解 大 型 稀疏 非 正定 线性 方程 组 的 一 种 方法 ， 
仍 具 有 对 称 正定 情形 的 一 些 优点 。 例 如: 它 可 充分 利用 4 的 稀 足 
性 ， 有 利 示 并 行 化 ; 在 没有 误差 的 情况 下 ， 可 在 有 限 步 之 内 得 到 
(7.1) 的 精确 解 等 。 但 由 于 474 的 条 件数 是 4 的 条 件数 的 平方 ， 
因此 当 A 是 病态 时 ， 这 一 方法 收 化 速度 可 能 变 得 非常 慢 。 提 高 收 
你 速度 的 一 条 重要 途径 就 是 将 对 称 情 形 的 预 优 技术 推广 到 非 正 定 
情形 。 一 个 自然 的 作法 就 是 应 用 算法 7.1 到 与 (7.1) 等 价 的 方程 组 
(L 1AU !)@= 6, (7.3) 
其 中 =Ux,， 8=L-b，U 和 工 是 需 适 当选 取 的 非 奇 异 人 第 阵 ， 目 
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的 在 于 使 Z-:AU-! 的 条 件数 尽 可 能 的 小 ia@H=LL™, G=UTU, 
可 得 具体 算法 如 下 。 


算法 7.2 
Cl) WA A,b,H,G 和 xo3 
xI=X), ri=b- Ax, gi=H™'r, 
"2:=G iATg, p:=z, po:=9T7 Az, 
k:=0. 
(2) g=H'AP, ap:=Pk/gTAP, 
X: 一 X +0 kPs i=r—a,AP, 
g:=H r, z:=G7ATg9, Py. t=gTAz, 
Br:=Pr + 1/Pks PEZ + PpP 


C3) BURP pr <P oe, MUR x ,结束 ;否则 大 =K+1, 转 步 (2)。 


从 上 述 算法 容易 看 出 ， 每 类 代 一 次 必须 解 形 如 Hg=r 和 Gz= 
9 的 两 个 方程 组 。 这 就 要 求 我 们 在 选择 志和 局 时 ， 必 须 保 证 这 样 
的 方程 组 容易 求解 ， 且 工 和 避 应 具有 一 定 的 稀疏 性 ， 否 则 将 训 无 
意义 。 上 节 所 介绍 的 不 完全 LU 分 HEAR KE LMU ME 
取 问 题 的 一 种 行 之 有 效 的 方法 . 


7.2 FMERRBRE 


正规 化 方法 虽然 简单 易 行 ， 但 其 收敛 速度 依赖 于 4 的 条 件数 
的 平方 , 当 4 的 条 件数 很 大 时 ,收敛 速度 变 得 非常 缓慢 。 因 此 ， 近 
年 来 人 们 一 直 致 力 于 寻找 其 收敛 速度 依赖 于 4 的 条 件数 而 不 是 其 
平方 的 有 效 方法 ， 并 得 到 了 不 少 各 有 具 千秋 的 方法 。 这 里 ， 我 们 介 
绍 其 中 一 种 较为 有 效 的 方法 一 一 广义 共 恩 剩余 法 。 

这 类 方法 的 基本 思想 是 ,每 次 迭代 在 Krylov 子 空间 x(A,ro6, 站 ) 
上 求 剩余 函数 

Px) = fb- ACX +X) l 

的 极 小 点 ,代替 了 正规 化 方法 每 次 和 迭代 在 Krylov 子 空间 
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xk(ATA,70;1) 上 求 二 次 泛 函 
P(x) = E +X0)T4T4(Z +X0) — ATHT (x +x) 


的 极 小 点 。 从 第 四 节 关 于 CG 法 的 收敛 性 分 析 可 以 看 出 ， 这 样 导 
出 的 算法 的 收敛 速 府 应 该 依赖 于 4 的 条 件数 而 不 是 其 平方 ， 
实现 这 一 思想 的 具体 方法 如 下 首先 任 取 一 初始 向 量 x。， 而 
Jatt Bro=b-Axy, FHS po= ro 假定 我 们 由 此 出 发 已 经 进行 了 
k 步 ， 得 到 了 极 小 化 向 量 xo,x1,*… ,Xk 和 方向 向 量 po Pes 第 
K+1 步 是 选取 xj,,， 使 
lb- Axr+ l= minls — ACX +p, [a (7.4) 


选取 新 的 下 降 方 向 Pk+ WERE k =O 一 A span{po, 
PrI ATA EXER ATA 正 交 投影 ， 
Pki = k+ tke (7.5) 
其 中 gy. E span{po, "ts Pr} H 
P. ATAP; = 0, 1=0,1,2,0°,k; 
而 且 优 化 问题 (7.4) 可 完全 类 似 于 优化 问题 (1.5) 求 得 ，Px ,1 可 以 
应 用 Gram-Schmidt 正 交 化 求 出 。 
综 上 所 述 ， 就 得 到 了 所 谓 的 广义 共 辆 剩余 法 (简称 GCR 方 法 ) 
的 选 代 公式 ; 
Qk = rEADK/PEAT APk, 
Xkg+1= Xk 十 CKPky 
rp+1i= kT FRAP kK» 
BY? = EA" AP; /pIATAP;, 71=0,1,* 


Pyri= Tkg+1 + Sips, 
i= 0 


(7.6) 


k=0,1,2,*, 
其 中 x ARCH Mele, ro=b— Axo, Po= fo. 
容易 证 明 ， = 4 对 称 正定 时 ， BYP =0, 7=0,1,2,0%,K-Is 
184 


这 时 ，GCR 法 就 是 与 共 罗 梯 度 法 等 价 的 共 轿 剩余 法 (通常 简称 为 
CR 法 )。 当 4 不 是 正定 什 阵 时 ,可 能 出 现 rk 不 0， 但 pk = 0 的 情形 
此 时 ， 在 还 没有 求 得 方程 组 (7.1) 的 解 的 情 训 下， 迭代 就 已 中 断 。 
保证 这 种 情况 不 出 现 的 一 个 充分 条 件 就 是 4 有 正定 的 对 称 部 分 ， 
即 


M= 二 (4 + AT) (7.7) 


是 正定 的 。 因 此 ， 在 下 面 的 讨论 中 我 们 总 假定 4 有 正定 的 对 称 部 
分 。 

定理 7.1 设 A 有 正定 的 对 称 部 分 ， 且 假定 {x;},{7;} 和 {p;} 
是 由 GCR 和 迭代 产生 的 . 则 

C1) piATAP;= 0, iX); 

(2) riAP;= 0, >j; 

(3) rĮTAp; =rTAr;; 

(4) rfAr;= 0, >f; i 

(5) span{Po,***,P;} = span{ro,e,7, } 

= span{rTy,ATo,c,Airo}s 


(6) 如 果 ris0， 则 p;0; 
(7) x+ 满足 
Jb - AX; +125 min{]jb - ACxo +x) fas *ExCA,rg,t +1} 


这 一 定理 的 证 明 完 全 类 似 于 定理 3.1 的 证 明 ， 因 此 这 里 不 再 
费 述 ， 作 为 练习 请 读者 自己 将 其 补 出 。 这 里 需 指出 的 一 点 是 ， 这 
一 定理 的 结论 除 (6) 用 到 4 有 正定 的 对 称 部 分 外 ， 其 余 各 条 都 不 
需 这 一 假定 。 

从 这 一 定理 可 以 看 出 CCR 进 代 亦 有 类 似 于 CG 法 的 一 些 优点 ， 
而 且 作 为 迭代 法 由 (7)? 易 得 

定理 7.2 fee. et GCR 迹 代 第 Kk 步 产 上 竺 的 剩余 向 量 ， 则 
有 
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rl min, la CA) llrol,, (7.8) 
HD PAO 表示 常数 项 为 1 且 次 数 不 超 过 的 实 系数 多 项 式 BK. 
利用 (7.8)， 通 过 选取 各 种 不 同 的 多 项 式 941， 可 以 得 到 各 种 
KERA Leah. Bilan, Wag = A-a, aeR, a 
证 
Ire le<min{{C2-@A)* llr: 2ER} 


_AminCM) . “2 


二 [CA Fole 


(7.9) 


其 中 MM 如 (7.7) 所 定义 ， Amn(CM) 表 示 M 的 最 小 特征 什 ,Amax CATA) 
表示 4 4 的 最 大 特征 值 。 
此 外 ， 妆 4 是 正规 矩阵 时 ，(7.8) 即 为 


max ， IRCA) | iola. (7.10) 

M GCR 的 迭代 公式 (7.6) 可 以 看 出 ，pix ;1 的 计算 工作 量 是 相 
当 大 的 ,而且 还 需 保留 前 面 所 得 到 的 所 有 方向 向 量 Pp; (t= 0,1,*…， 
k)， 随 着 迭代 次 数 的 增加 ， 这 将 要 占用 大 量 的 内 存 空间 。 因 此 ， 
在 实际 使 用 时 ， 为 减少 工作 量 节 约 内 存 ， 通常 采 用 如 下 两 种 措 
We: 一 是 选择 一 个 适当 的 正 数 s ， 只 要 求 pk Pet Pk-s+1 0R 
持 A47A 正 交 ， 即 在 (7.6) 中 只 计算 B 信 ，… ,PB 由 ,1， 而 令 BY ore, 

Kes 都 为 零 ， 这 就 是 所 谓 的 Orthomin(s Wyk; 二 是 对 适当 选择 

的 正 数 s 和 给 定 的 初始 向 量 x。， 利 用 (7.6) 送 代 s 步 之 后 ， 再 以 
x 作为 初始 向 量 重新 用 (7.6) 近 代 s 步 ， 这 样 周而复始 的 进行 ,就 
是 所 谓 的 GCR(s) 算 法 。 下 面 我 们 只 给 出 GCR(s) 算 法 的 具体 内 
A, Mi Orthomin(s) 算 法 请 读者 作为 练习 自己 总 结 出 来 。 

算法 7.3 

(1) WA Asb x HIS; x: 二 xo， 

(2) r:=b— Ax, P=", P:=|r|s, k:—0. 
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(3) aerTAp,/PLA APx, 
XX + EPpy 
三 一 六 一 和 AD 


By=tTATAp ;/PGATAD;, 7= 01 天 
k 

Pigg oak + D jPi. 
7= 0 


(4) 如 果 K= s， 则 转 步 (5)， 否 则 =k + 1， 转 步 (3)。 
(5) 如 果 irja<os， 则 输出 x 停机 ;否则 转 步 (2)， 


究竟 * 取 多 大 为 最 好 ， 还 没有 理论 上 的 结果 ， 但 GCR(s) 和 
Orthomin(s) 算 法 为 很 多 文献 所 采用 ,大 都 选取 s 夺 20, 效 果 都 很 好 ， 
习 ğ 

1. ik 维 超 平面 7, RE A Piss ,pn-kx。 试 证 ， PEH 
于 xx 的 充 要 条 件 是 PE span{Ppi,**… Pay}. 
2， 设 让 ,是 上 HAE AT, WHS, Asa, eH, > 
47 张 成 的 。 HF HH: AU AH", AUL MEE n-k 的 法 问 ， HA 
Bape UTCAX-b)=0, 15 1,2,0°5k, 
3. ER BRE YH . 
4 -2 -I 0 
-2 4 0 -2 
-] 0 4 -1 
0 -2 -1 4 


A= 


的 线性 方程 组 。 证 明 : 

(1》 共 罗 梯 度 法 应 用 到 此 方程 组 上 ， 对 任意 的 初 值 至 多 迭代 
3 次 就 可 得 到 方程 组 的 精确 解 ; 

(2) 如 果 初 始 向 量 xo 使 得 剩余 向 量 为 ,= (1 ,1, 一 2, 一 1)7， 
则 此 时 只 需 迭 代 一 次 就 可 得 到 方程 组 的 精确 解 。 

4. 设 A 为 对 角 元 素 均 为 2， 次 对 角 元 素 均 为 -1 的 nn 阶 对 


BEAM, LAANE IZA J eB 
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一 了 1 
L= -1 
0 1 
一 上 1 
d) HERA; A= LAL? 的 特征 值 为 1(n~-1 重 ) 和 n+1( 单 


$); 
(2) 证 明 ; 对 系数 矩阵 为 上 述 4 的 线性 方程 组 ， 可 选取 预 优 
矩阵 M， 使 得 PCG 法 最 多 只 需 迭 代 两 次 就 收敛， 
5. WIE: WERKER 4 至 多 有 i 个 互 不 相同 的 特征 值 ， 
WU FE Se EPR RS ! 步 就 可 得 到 方程 组 Ar = 2 的 精确 解 。 
- 6. GEAR, go A=[o, JER" 是 严格 对 角 占 优 的 ， 则 A 
有 RILU 分 解 。 
T. 举例 说 明正 定 和 矩阵 不 一 定 有 RIC 分 解 。 
8. 证 明 ， 对 任意 的 AE R"™", 有 4CM)CC{4: lAl SIA} 
其 中 M= (AT + 4)/2 为 A 的 对 称 部 分 。 
9. 证 明 ， 当 4 正定 对 称 时 ， 广 义 共 统 剩 余 法 姑 代 公式 中 的 
BE = 0G01 = 01 天-1)。 并 说 明 4 不 对 称 时 ， 为 什么 这 一 事实 
不 真 。 
10， 蔡 例 说 明 ， 当 4 的 对 称 部 分 不 正定 时 ， 可 在 广义 共 园 剩 
余 法 中 出 现 r; 关 0， 而 p; = 0 的 情形 。 | 


Li. REE 

pant 1 0 0 0 0 
-1 4 0 1 0 0 of, 

1 0 4-1 0 0 0| 

A=| 0 1-1 4-1 1 0 

0 0 0-1 4 0 1 

0 0 0 1 0 3-1 

Lo 0 0 0 1-1 3. 
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的 不 完全 分 块 Cholesky 分 解 . 
12, 设 严格 对 角 占 优 的 实 对 称 三 对 角 阵 工 的 元 素 4; TB, 满 
E: | 
a,>0, I<i<n; £,<0, 2<i<n, 
Rik: 
(1) 由 (6.22) 产 生 的 {4u;}? 和 {2v;}? 满足 
J= U KUK Uy, 
Wi1>V > n> 05 
(2) OLT D; a S (TTD PT, ISIK, H PTD y 
RETO 的 第 Gi, 让 位 置 上 的 元 素 ， ?= max {~ By/(0y+ 81)} 
<i. l 
13. 试 给 出 一 个 不 完全 分 块 Cholesky 分 解 存 在 的 充分 条 件 。 
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第 六 章 ”最 小 二 乘 问题 的 数值 解法 


S1 最 小 二 乘 解 的 数学 性 质 


11 DRRR IE 
设 AER™"(m>n), DER". PMRR ERPI ha Ae 
LS H), ERRER” 使 得 
| Ax —b],=min{|Av—b],; vER"}, (1.1) 
记 
4 yg ={xER": x 满足 (1.1)}。 (1.2) 
MRP Ls 是 LS 问题 (1.1) 的 解 集 : 人 us 中 2 范 数 最 小 者 称 作 最 
小 范 数 解 ， 记 作 xus; Bf 
jxzs]j:= min{]x],: LE Fish. 
定理 ].] xE 人 18 当 且 仅 当 4I7(4x-p)=0。 
证 明 ”由 于 对 任意 的 x,yE R”, A 
Jb- A(x +y)]3 = jb- Ax] -2yTAT(D—- Ax) + Ayi}, 
Att, xo Fis 当 且 仅 当 对 任意 的 yeE 有 ”有 


[Ay]2—-2QuTAT(b— Ax)>0., (1.3) 
易 证 人 (1.3) 对 任意 的 yYE 及 "成立 的 充分 必要 条 件 是 
Al(b-Ax)=0. | (1.4) 


事实 上 ，(1.4) 成 立 显然 有 (1.3) 成 立 : 反之 ， 潜 (1.4) 不 成 立 ， 
A 
y= EAT™(b ~ Ax), 
其 中 e€E R, WA 
14 旭 ,一 27T74TG ~ Ax) 
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= e? |AATCD- Ax) [5 — 2e] ATCO ~ Ax) [2 <0 
对 充分 小 的 正 数 e 成 立 ， 即 (1.3) 不 成 立 。 证 毕 ， 
推论 1.1 (1) @ yg 是 山 集 ; 
(2) xus 是 唯一 的 ; 
(3) Pis = {xLs) 的 充分 必要 条 件 是 rank(4) =n, 


1.2 最 小 二 乘 解 的 一 般 表示 
为 了 给 出 最 小 二 乘 解 的 一 般 表示 ， 我 们 需要 广义 逆 的 一 些 基 


本 性 质 . 
定义 1.1 EAER?” 如 果 XER"”*” 满足 : 
G) AXA=A, 


(2) XAX =X, 

(3) (AX)T=AX, 

(4) CXA)" = XA, 
则 称 和 是 4 的 Moore-Penrose 广义 道 ， 记 作 Al, 

可 以 证 明 : 4 是 由 4 唯一 确定 的 ， 而 且 苦 4 的 SVD 分 解 为 


Oo 0 , 
A=UI 7 ve 
0 0 
其 中 U FV oy Bil om Sy Fn n t E Z HABE, X, = diag(0,,++,0,), 
0, >00, >0, M 
Sr! 0 , 
Al=V i UT, (1.5) 
0 0 


广义 逆 的 另 一 个 重要 性 质 是 ， 它 可 给 出 由 和 4 确定 的 四 个 基本 
空间 上 的 正 交 投影 算 子 的 表达 式 ， 
Pra AAT, P aT) =]-AAl, (1.6a) 
PaiaT = ATA, Pra =I - ATA, (1.6b) 
由 于 篇 幅 所 限 ， 有 关 广 闵 逆 的 详细 讨论 这 里 不 再 给 出 ， 有 兴 
趣 的 读者 可 参阅 文献 [4. | 
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利用 广义 逆 的 上 述 基 本 性 质 ， 我 们 可 给 出 最 小 二 羔 问 题 之 解 
的 一 般 表示 。 
定理 1.2 LS 问题 (1.1) 的 解 由 
x= Alb+(I-AlA)2 (1.7) 
给 出 ， 其 中 = 表示 R" 中 的 任 一 向 量 ; 而 且 鞭 唯一 的 最 小 范 数 解 
由 | 


xis= Alb (1.8) 
给 出 。 
证 明 ”由 定理 1.1 知 ，LS 问题 (1.1) 的 解 可 由 正规 化 方程 组 
ATAx = ATD (1,9) 
给 出 。 


利用 广义 逆 的 定义 ， 直 接 验 证 可 知 At 是 方程 组 (1.9) 的 一 
个 解 。 
此 外 ， 利 用 奇异 值 分 解 定理 易 证 1 CATAD =H MCAD, m 


HA)= {Pra 2: zER?} ={GT-A4tA)z: ZER™, 
因此 ， 由 线性 方程 组 的 基本 理论 知 ， 方 程 组 (1.9) 的 解 由 
x= Albp+(1 -AiA)z, ZER’ 


给 出 ， 即 LS 问题 (1.1) 之 解 可 由 (1.7) 给 出 。 
另外 ， 注 意 到 
CU -ATADZITATb= xzTCT- ATA)ATO= 0， 
就 有 | 
lxl2= Atol + |a-Aladze|3 >] Ato, 
对 一 切 的 zsE R" 成 立 ， 从 而 有 xLs = Alo. 证 毕 ， 


1.5 最 小 二 乘 解 的 扰动 分 析 


BEA SAER” #14,60ER”; 并 假设 x 和 x+6xE 了 下 "分 
别 是 LS 问题 
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[Ax— ble= min{ | Av ~ bla; ve R"} 


ICA +5A) Cx + 8x) — Cb +b) 
= min{ CA +8AWwW -b +8b)jz: VER”} 
的 最 小 范 数 解 ， 即 
x= Alb, x+6x=(A+SA)TCO4+60), 

现在 ， 我 们 来 考虑 54 Al 6b 的 大 小 对 gx 的 影响 。 

首先 ， 需 要 指出 的 一 点 是 : MM SRR EUR, 
它 是 不 连续 的 ， 即 当 54 趋 向 于 零 时 ，(CA +64)1 不 一 定 趋向 于 
Al, 这样 的 例子 很 容易 举 出 ， 例 如 ， 设 


1 0 0 0 
4=|0 Of, éA=]0 ©], e>0. 
0 0 0 0 
则 有 | 
| 0 0 1 0 0 
AÌ = (A+6A)T= 1 
0 0 ,| 0 二 0 
mi H. 


lat- (A+ SADT], = a Ce>0), 


JATTE PE, HER LS 问题 之 解 的 扰动 分 析 变 得 复 
FE. EKRE, Stewart (1969) 通 过 研究 广义 逆 朱 阵 的 扰动 
界 ， 揭 示 了 广义 逆 的 连续 性 与 保 秩 扰动 之 间 的 内 在 联系 。 他 证 明 
T: 

lim (A+é6A)T= AŤ 


HIS Al! > 0 


的 充分 必要 条 件 是 ， 这 些 OA 在 充分 靠近 零 时 ， 有 rank(A +64) 
= rank(A)。 因 此 ， 我 们 自然 应 在 OA 不 改变 A 的 秩 的 前 提 下 , 来 
考虑 6x 的 大 小 与 54 和 62 之 间 的 关系 ， 
为 了 下 面 叙 述 简单 起 见 ， 我 们 引进 记号 ， 
A=A+6A, =x+6x, b=64 6b, 
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y 


ea= l8Ale/ lAl *= 4: CA=TARIATI, 97= Kea. 
定理 1.5 ”如果 rank(4) = rank(4)， 且 0?<TI， 则 


laxls < a (alls + t eae (TE) tearlxl, 
(1.10) 
deri r=b6-Ax, 
证 明 ”由 于 
éx=#-x= Alb—-x | 
= AT(Ax+r+6b)-x 
= Atc -6Ax +6b) + Alr+ CATA -1x 
= Al(gb~6Ax) + Alr— Pax; (1.11) 


因此 ， 要 给 出 lox]. 的 上 界 估计 ， 只 需 依次 给 出 (1.11) 右 边 三 项 


”之 范 数 的 上 界 估计 即 可 .。 


[AŤ cab - 5Ax) J, < PATI Chobe + leAlalxl:) 


< lsat + lA lalelo 


- = ACER +ealzl (1.12) 


上 述 估计 中 ， 第 二 个 不 等 式 用 到 了 
āta <, ath. (1.18) 
这 一 不 等 式 的 证 明 留 给 读者 . 
注意 到 rE CAT) A ATP aH = At, WA 


Atr= ÄT PaP rat rs - (1.14) 
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而 利用 第 一 章 习 题 5 的 结论 ， 有 
[Pac P maT, l= | Pa cA) = Paal = IPacaP rT» le 


= [PAT Pales | — AAT) AAT, 
= | ~ AAt)cA - DAt], 
= |P maT 6A ATI, 


<ISAllAŤ I: 
= ess (1.15) 
因此 ， 在 (1.14) 两 边 取 2 范 数 ， 并 利用 (1.15) 和 (1.13)， 可 得 


AT hS At Pa Prat, loll, 


< JAM ee gir rl. 


o Irla 
“i-na Ah" 


(1.16) 
由 于 
PaT x= (ATANCATD) = Atb=x, 
所 以 | 
| Pr ay XH. = [Parca Paat xl 
Pa PaiaTy lalz 
= ! PacaTy PA lalt 
=| ATCA- APL am lalz la 
< ATlleAllxl, 
= KE4|x (1.17) 
在 (1.11) 两 边 取 2 范 数 ， 并 将 (1.12),(1.16) 和 (1.17) 代入 立即 
得 到 (1.10)7。 证 毕 。 
定理 1.3 表 明 ， 
= xa(4)= ]ATlalA la 
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的 大 小 ， 在 一 定 程度 上 反映 了 最 小 二 乘 问 题 之 解 对 扰动 的 敏感 程 
度 。 因 此 ， 类 比 于 线性 方程 组 的 情形 ， 我 们 称 CA ARADO 
间 题 (1.1) 的 条 件数 : x*(4) 很 大 ， 就 说 问题 (1.1) 是 病态 的 ; 否 
则 就 说 其 是 夏 态 的 。 

从 定理 1.3 的 证 明 可 知 ， 当 rank(A)= rank(A)=n Bf, 
(1.10) 的 最 后 一 项 可 去 掉 ， 因 这 时 Pray = 0, 

(1.10)? 的 第 三 项 含有 因子 e RE REA SD Ar |le/ Alles 
这 一 项 反映 了 最 小 二 乘 问 题 之 剩余 向 量 的 大 小 对 解 的 敏感 性 的 影 
响 ; 当 剩 余 向 量 较 大 时 ， 问题 之 解 的 敏感 程度 主要 取决 于 条 件数 
的 平方 的 大 小 ， 当 剩余 向 量 很 小 (以 致 于 第 三 项 可 以 忽略 ) 时 ， 
问题 之 解 的 敏感 程度 就 只 线性 依赖 于 条 件数 ， 特别 当 bE BCA), 
即 +=0 时 ， 第 三 项 不 出 现 ; 当 4 是 可 逆 方 阵 时 ，(1.10) 就 变 成 
线性 方程 之 解 的 扰动 上 界 人 和 估计， 与 第 三 章 的 定理 1.2 相 吻合 ， 

最 后 需 指 出 的 是 ， 虽 然 (1.10) 所 给 出 的 估计 并 非 最 好 ， 然 而 
其 第 三 项 依赖 于 * 这 一 事实 是 不 可 改进 的 ,在 极 特 殊 的 情况 下 是 
可 以 达到 的 。 例 如 ， 设 


1 0 0 0 1 
A=|0 10 |, 6A=|0 0 |, b=|0|, b= 

0 0 0 107? 1 
容易 算出 

X¥=(1,0)7, 5 (1 0.9999x 104)7， 
K= Ka(4)= 10°, ea= ĪA] / [Al = 107°. 

此 时 ， 
o [e = [ap 20-9999 x 101101? x 10™ = ree. 


$ 2 求解 满 秩 LS 问题 的 数值 方法 
Co ket, RIR LS 问题 (1.1) 中 的 矩阵 4 是 满 秩 的 ， 即 
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rankC(A)=n。 此 时 ，LS 问题 (1.1) 有 且 仅 有 唯一 的 解 xrs， 并 且 
连续 地 依赖 于 给 定 的 数据 A 和 b 。 有 关 求 解 这 类 问题 的 数值 方法 
在 一 般 的 大 学 教 课 书 里 都 有 详尽 的 讨论 ， 因 而 这 里 我 们 只 对 其 中 
最 基本 的 方法 作 一 概述 性 介绍 


2.1 正规 化 方法 


求解 LS 问题 之 解 的 最 古老 而 且 现 在 仍 常用 的 方法 之 一 就 是 
正规 化 方法 。 这 一 方法 的 理论 依据 就 是 定理 1.1， 即 将 求解 LS 问 
题 (1.1) 转 化 为 求解 正规 化 方程 组 . 

| ATAx = ATD, (2.1) 
当 rank(A)=n it, ATA 是 对 称 正定 年 阵 ， 因 而 (2.1) 的 唯一 解 
x= x% s 可 用 Cholesky 分 解 法 求 得 。 因 此， 正规 化 方法 的 基本 步 
TE 为， 

(1) 计算 C= ATA Fl d= At); 

(2) 计算 C 的 Cholesky 分 解 C= GG"; 

(3) 求解 三 角 方 程 组 Gy= 4d 和 GYx=y 


这 一 方法 的 运算 量 是 Lia(metn), 设 4 是 利用 这 一 方法 求 


解 (2.1) 所 得 到 的 计算 解 ，x 是 它 的 精确 解 。 则 可 证 ( 见 文献 
[20]) 


[2 — x] <2. 5n2ex2(A)|x]o. (2.2) 
换 句 话说， ie Le cater 果 的 精确 程度 依赖 于 4 的 条 
件数 的 平方 。 因 此 ， 它 与 下 面 将 要 介绍 的 正 交 化 方法 相 比 ， 数 值 
REEERE. 但 由 于 这 一 方法 简单 易 用 ， 现 在 仍然 经 党 使 用 ， 特 
别 当 mm 泌 n( 即 方程 的 个 数 远 远大 于 未 知 数 的 个 数 ) 时 ,这 一 方法 具 
有 一 定 的 优越 性 ,因为 这 时 ATA 将 占用 比 A 少 得 多 的 存储 空间 。 


2.2 正 交 化 方法 
H FARER 2 范 数 是 正 交 不 变 的 ， 因 此 对 任意 的 正 交 怎 阵 
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QE R™"， 问 题 (1.1) 等 价 于 


‘looAxr ~ b) l= min{ ]QTCAv —b) a: ve R”). 
(2.3) 


这 样 ， 我 们 就 可 望 通过 适当 选取 正 交 矩阵， 使 原 问 题 转化 为 较 
容易 求解 的 LS 问题 (2.3)， 这 就 是 正 交 化 方法 的 基本 思想 。 
it AA QR 分 解 : 


420|“ 
0 


| -on (2.4) 


其 中 QE R"…" EERIE, Q, 是 @ 的 前 = FS MAY IRE BIO = 
[Qis Q: ] ,RE 及 " ”是 对 角 线 均 为 正 数 的 上 三 角 甜 阵 。 


现在 取 (2.3) 中 的 正 交 和 矩阵 就 是 分 解 式 (2.4) 中 的 @， 并 记 


aom | l, fe)" ) 
=Q 一 ot b = d, 9 (2.5 


则 有 


2 


2 


arcasii R] [i 
= |Rx-d l2 + dal. (2.6) 


由 此 易 知 ,x a LS 问题 (1.1) 的 解 当 且 仅 当 x 是 方程 组 Rx = 4 的 
解 。 这 样 一 来 ，LS 问题 (1.1) 的 解 就 可 很 容易 从 上 三 角 方 程 组 
Rx=di 求 得 。 

综合 上 面 的 讨论 ， SURE SEEI HATE AR Ae 

CL) 求 分 解 式 (2.4) 中 的 CO MR; 

(2) 计算 d, = Qb; 

(3) 解 方 程 组 Rx = d, 

由 此 可 见 ， 实 现 正 交 化 方法 的 关键 在 于 如 何 计 算 分 解 式 
(2.4)。 这 方面 的 最 基本 方法 有 下 面 三 种 : 

(i) Householder 方法 ; 
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Cii) Givens 方法 ? 

《iii》 改进 的 Gram-Schmit 正 交 化 方法 。 
这 里 ， 我 们 只 对 Householder 方法 作 一 简 述 ， 其 他 两 种 方法 可 查 
BASEN AIRS. 

用 Householder 方法 计算 分 解 式 (2.4) ,就 是 利用 Householder 
变换 逐步 将 4 约 化 为 上 三 角 和 矩阵 。 

” 设 我 们 已 确定 了 天 ~ 工 个 了 ouseholder % H Hi", Hp- IE 
得 
Ae 1) AE 1) 
0 AY | 
其 中 AG? ACk-D x (k- DA b= ABE. BL id k AK 
的 第 一 列 . 我 们 的 第 上 步 是 , 先 确 定 Householder 变换 Hy € 
Rim ks 1)x(m-k+ D, 使 得 
HY piv = Tener 

Hr ER, 1=(1,0,,0ER"*; 然后 ， 我 们 再 计算 
Hy, AG D, 令 


Ar_-1= Ay Hi A= | 


H,= diag(I,_1,H,), 
则 有 


~ - k? 
A‘ 1) A (k, 1) A) AY 3 
Ak = Hy Ar-~1 = ’ 


0 HAS? 0 AR 
其 中 4 名 是 kxk 的 上 三 角 阵 。 这 样 ， 从 = 1 WR, RRR 
次 ， 我 们 就 可 将 4 约 化 为 上 三 角 阵 。 现 记 
Q= CHa H T= HiHe Hns 
R= AT, 


| 


则 有 


A=Q 


即 为 所 求 的 分 解 式 (2.4)。 
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如 果 我 们 求 分 解 式 (2.4) 只 是 为 了 求 LS 问题 (1.1) 的 解 ， 则 
上 述 方 法 所 得 到 的 Q 不 必 有 明确 地 计算 出 来 , 而 且 Hi 也 不 需 保存 ， 
只 需 在 每 次 确 EH. 之 后 将 其 作用 在 向 量 b 上 即 可 。 这 样 ， 便 可 
得 到 求解 LS 问题 (1.1) 的 如 下 算法 ， 


算法 2.1 
(1) 输入 4= [a;;]E R3” (m>n), DER"; k:i=1. 
(2) 确定 Householder 变换 A, E R" KVM kt, 使 得 


akk Tek 
Bea k _ 0 -_ 
A, i = $ Opp 三 了 Rs 
Omk 0 
Gkeksi 8° Ben Desk +t toe Akn 


Qh etek + “ee krin := A, Tk + tke “ee krbn ， 


Omski s.. Onn Omski 8% Omn 
(Dy yee bm T: = Ay (bys ty On? 
“(3) an k<n, Wiki=k+1, HEO) 否则 进行 下 一 步 。 
(4) 求解 方程 组 


Qir Qiz * Qin xy by 


Gan Xn: bn 


(5) 输出 x= Crasee X_)7, 结束 。 ， 
这 一 算法 的 运算 量 是 nz(m -na/3)， 大 约 是 正规 化 方法 的 2 


设 是 由 算法 2.1 计 算得 到 的 ， 则 满足 
“CAF 6ADE- (4 5b) I, 
=min{|(A+dA)v~(b+6b)].; VER’), 
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其 中 
[5Al2<e,6n'”7] Ale» 
[5b <<cz812 
cs = (61m — 3n +41)n, 
详 见 文献 [20]。 
由 此 可 见 ; 这 一 算法 有 良好 的 数值 稳定 性 ， 特 别 当 所 计算 的 
LS 问题 是 小 剩余 问题 时 ， 计 算 结 果 要 比 正规 化 方法 精确 的 多 , 当 
然 ， 付 出 的 代价 也 是 不 容 忽视 的 。 
此 外 ， 当 KASET 时 ， 这 一 算 法 可 能 会 出 现 中 断 ， 而 当 
Ka《A)~25-2 时 ， 正 规 化 方法 中 的 Cholesky 分 解 就 可 能 出 问题 ， 
因此 ， 这 一 方法 比 正规 化 方法 的 应 用 范围 三 。 


8 3 求解 亏 秩 LS 问题 的 数值 方法 


这 一 节 ， 我 们 假定 LS 问题 (1.1) 中 的 年 阵 4 是 亏 秩 的 ， 即 
rank(A)<n, JERE LS 问题 (1.1) 有 无 穷 多 个 解 ， 而 且 上 节 所 介 
绍 的 处 理 满 秩 LS 问题 的 数值 方法 在 这 里 都 是 行 不 通 的 。 因 此 ， 
这 一 节 我 们 专门 来 考虑 怎样 计算 亏 秩 LS 问题 的 解 . 


3.1 列 主 元 QR 分 解法 
设 LS 问题 人 (1.1) 中 的 已 知 疝 量 /分 解 为 


b =b, 十 六 (3.1) 
其 中 如 (A)，bsE (A)+。 则 易 证 问题 (1.1) 等 价 于 求解 
Ax=bi, . (3.2) 


现 假定 PA= FQ), HHAER™, To=, BO, HH 
构成 空间 .多 A) 的 一 组 标准 正 交 基 。 则 存在 矩阵 SER"*"” 和 疝 
量 cE 民 "， 使 得 
A=Q1S, b=Qe, (3.3) 
将 (3.3) 代 入 (3.2)， 并 注意 到 Qi 的 列 线性 无 关 ， 即 知 (3.2) 等 从 
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于 


Sx= c。 (3.4) 

显然 ， 这 一 方程 组 总 是 相 容 的 。 此 外 ， 从 (3.3) 可 得 
e=QTb,=QT(b-b,) = 01b, (3.5) 
=QTA. (3.6) 


因此 ， 只 要 求 得 .多 (4) 的 一 组 标准 正 交 基 , 就 可 通过 (3.6),(3.5) 
MOARA LS 问题 (1.1) 的 任 一 解 。 

其 实 ， 上 节 所 介绍 的 正 奖 化 方法 ， 实质 上 也 是 在 求 罗 (4) 的 
正 交 基 ， 这 是 因为 在 rank(4) =n 的 条 件 下 ， 分 解 式 (2.4) 实 际 
上 亦 给 出 了 . 罗 (4) 的 一 组 标准 正 交 基 。 然 而 ， 在 rank(A)<n 时 ， 
分 解 式 (2.4) 一 般 并 不 一 定 能 够 产生 . 罗 (4) 的 一 组 标准 正 交 基 。 
例如 ， 设 


> fF oom 


1 
1 
1 
0 


co fc 2 jm 


则 有 rank( A) = 2, 而 且 有 分 解 4=14。 但 单位 问 量 elyesyes， 
e, 中 的 任意 两 个 均 非 . 罗 (4) 的 标准 正 交 基 。 

但 是 ， 如 果 我 们 先 对 4 的 列 进行 适当 的 排列 使 其 前 r 列 线性 
无 关 ， 然 后 再 进行 QR 分 解 ， 则 照样 可 以 产生 .多 (4A) 的 标 BIE ZC 
” 基 . 事实 上 ， 若 有 分 解 
Ru Ri 


r 


AP=Q 


， (3.7) 


其 中 PP 是 排列 方 阵 ，Q RIE RE, Ri 是 非 奇异 的 上 三 AK, 
则 @ 的 前 了 列 就 是 .多 (4) 的 一 组 标准 正 交 基 。 
一 旦 分 解 式 (3. 7) 已 经 求 出 ， 则 由 43.5) 和 (C3.6) 可 知 ， 此 时 


有 
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r 


(H 
S= [Rs Re] PT, Qlb= | | ; 


d \m~r 
再 将 S 和 cc 代入 (3.4)， 即 知 LS 问题 (1.1) 的 通 解 为 


-1 -R 
r=» Ril(e — R2) 
之 


| ZER". (3.8) 


通常 ， 我 们 把 上 述 表 达 式 中 z= 0 时 对 应 的 解 称 作 工 S 问题 (1,1)〉 © 
的 基本 解 ， 记 作 xa, HI 
Rilc 
s= 0 | (3.9) 
现在 ， 我们 再来 考虑 如 何 计算 分 解 式 (3.7)。 类 似 于 分 解 式 
《2.4) 的 计算， 这 一 分 解 可 用 Householder 变换 和 适当 的 列 交换 
相 结 合 逐 步 求 得 。 假 设 对 茶 一 正 整 数 k ， 我 们 已 求 得 -I 个 Ho- 
useholder 变换 Hist Hp- 和 天 -工人 个 初等 交换 第 阵 P Py 
使 得 
Ry = (Hpi H DACP i PR) 
RFT 1) R Er 1) El | 
ret | ， (3.10) 
k-i n—-k+1 
其 中 REY 是非 奇 异 的 上 三 角 阵 。 现 在 记 
RY DP = yk- D000, VR- 07, 
即 oko Ua RES "的 第 [一 K+1 列 。 下 一 步 古 ， 先 确定 指标 P 
kapan, WE 
leg? lle = max {fek lr flow Ple} C3.11) 
WR h= 0， 则 计算 结束 ; 否则 取 Px RAR kja pd 列 
交换 的 初等 交换 和 矩阵， 并 确定 一 个 Householder 变换 有 HE 
了 人 -天 + Lya(m-k+ 1), 使 得 
Hpv- 1 一 六 ele 


今 H, = diag(I pais A.D; 则 有 


m-k+1 
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RK RE k 
° Reo HaRiaiPa =| 0 RE fy (3.12) 
k n-k 
其 中 RY 是 xk 的 非 奇 异 上 三 角 阵 、 这 样 ， 从 EK=1 出 发 ， 依 
次 进行 += rank(4) 次 ， 即 可 求 得 分 解 (3.7)， 
此 外 ，(3.11)? 中 的 范 数 也 不 需 每 步 都 按 2 范 数 的 定义 去 计 
算 ， 这 上 只 需 注意 到 下 面 的 事实 即 可 : 


Ux= 


a 1 
| ==> [x2 =a + pyle 
y l 
Xt FE EE AY TE 36 EBE U BRL. 
综 上 所 述 ， 可 得 计算 分 解 (3.7) 的 算法 如 下 : 
算法 3.1 
Ci) 输入 A=[a;;]E R"; 
jT] => 了 9 7 =]1,2，…)71， k:=1, 
(2) Wi 1 使 y, = max Yj 


(3) R71 = 0， 则 分 解 结束 ， 否 则 进行 下 一 步 。 
C4) 交换 pi 与 pki 与 Yky 以 及 Qi1 Bayt = 1 2 人。 
(5》 确 定 一 个 Householder 变换 Ap, 1674 


. * 
Qik 

m : |- 0 
Q mk 0 


(6) A:=diagCTyp 19H, A, Yyy- ajs FHER+1 esne 
(7) k:=k +1, 402). 


这 算法 的 运算 量 是 mnr- rim +n) + Ft, Mehr = rank(A), 


204 


分 解 式 (3.7) 的 R 存 储 在 4 的 上 三 角 部 分 ， 初 等 交换 阵 由 py 记录 
下来， 如 果 需 要 Q ， 一 般 以 因子 形式 存储 在 4 的 下 三 角 部 分 ， 如 
果 只 是 利用 这 一 分 解 去 求 LS 问题 之 解 〈 通 常 ， 用 来 求 基本 解 )， 
则 @ 不 必 存 储 ， 只 需 将 计算 过 程 每 步 产 生 的 Householder 变换 作 
ME b 上 即 可 。 
”其 次 ， 利 用 上 述 方法 产生 的 上 三 角 阵 
Fir °°" Vir Pisren Yin | 


R= ”. ° z > 
Yrr Yrrrl Yran 
I p 
的 对 角 元 素 满 足 


TADH K=1,2,-,r, foK+1,,n, (3.13) 
ick 


此 外 ， 如 果 我 们 希望 求 出 LS 问题 (1.1) 的 最 小 范 数 解 ， 则 还 - 

需 将 分 解 (3.7? 中 的 Ra 化 为 零 。 这 可 通过 r 次 Householder 变 换 

来 完成 ， 即 确定 r 个 Householder 变换 Zis +, Zr 和 一 个 排列 方 阵 
P, 使 得 | 
ERii»RielZi%Z Pe = LT, 0 me 


其 中 是 上 三 角 阵 。 现 令 
Z= PZZP. 


则 有 
QTAZ= T 0 Jr 
0 0 [m-r 
由 此 立即 可 得 


T te 
Xig=Z 0 > 


其 中 的 c 是 由 QT 的 前 + 个 分 量 构成 的 + 维 向 量 。 请 读者 作为 练 
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EHR xLs 的 详细 算法 。 
3.2 AREJEE 


设 和 A 的 奇异 值 分 解 为 
A=U2y', a= 9 
0 0 |m-r 


其 中 U = [u eta JV = [01,0 0, TERR, 2, = diag(o,, 
* O07, oe, >). 则 由 定理 1.2 知 ， 


- aut 
xg=2Alb=Vi" 0 UT 
| 0 0 
= > 4; (3.14) 


因此 ， 一 卫 求 出 分 解 (3.13)， 我 们 就 可 由 (3.14) 很 容易 求 出 LS 问 
题 (1.1) 的 最 小 范 数 解 xLs 。 关 于 分 解 (3.13) 的 具体 计算 方法， 
我 们 将 在 第 七 章 中 详细 讨论 ， 


3.3 数值 秩 的 定义 和 确定 方法 


从 上 面 的 讨论 可 知 ， 亏 秩 LS 问题 之 解 的 确定 与 矩阵 的 秩 密 
切 相关 。 然 而 ，“ 秩 ”这 一 在 数学 上 精确 定义 的 概念 ， 在 有 误差 
出 现 的 计算 机 上 就 变 得 横 糊 不 清 了 。 因 此 ， 我 们 需要 引进 数值 秩 

定义 5.] ZAER™”. MEWHE-EROA 

r= min{rank(B); BER"”™*", |B- Al: <8}, (3.15) 

WRK ”是 矩阵 4 的 6 数值 秩 。 

ACR" HAF OS So, OX ERRemSn), X 
应 的 左 、 右 奇异 向 量 分 别 为 us FAY Une A 


inf JA- Bl:= Char k=1,2, n, 


rank (By<k 
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而 且 下 确 界 在 
k 
B= Sort; vr 
| i=) 
达到， 可 知 和 矩阵 4 的 5 数值 秩 是 r 的 充分 必要 条 件 是 
Oe 0 OL py Dee on. (3.16) 
因此 ， 我 们 可 以 应 用 奇异 值 分 解 来 确定 矩阵 的 3 数值 秩 。 由 
于 奇 犀 值 的 良好 数值 狂 态 ， 月 前 人 们 普遍 认为 奇异 值 分 解法 是 确 
定数 值 秩 的 最 可 靠 方法 。 
如 果 用 第 七 章 的 算 靶 5.2 于 A 上 计算 的 奇异 值 满足 
Oe SOS beeen, (3.17) 
则 根据 误差 分 析 和 奇异 值 的 扰动 分 析 的 结果 我 们 可 以 认 为 4 的 5 
数值 秩 就 是 f， 而 且 亦 可 用 


a T 
xp = So, (3.18) 


作为 LS 问题 (1.1) 之 最 小 范 数 解 xLs EIA, Fp a, 和 1 分 
Ale. Hatta u, Me, 的 计算 值 。 

一 般 5 应 该 与 机 器 的 精度 相 容 ， 通 常 可 取 5= 8141-， 但 如 
果 数 据 本 身 的 误差 就 比 & 大 得 多 ， 那 么 此 时 8 也 应 取得 大 一 些 ， 
比如 可 取 35= 10 人 41 此外， 由 于 


I 
l= FT 


故 根 据 实际 需要 8 IKEE HE leple 适当 的 小 。 
x 里 需要 指出 的 一 点 是 ， 欲 使 (3.16) 成 立 ，o441 与 o 之 间 
必须 具有 一 定 的 距离 才 行 。 因 此 ， 当 4 的 奇异 值 分 离 不 明显 ， 而 
又 是 亏 秩 和 矩阵 时 ， 应 用 奇异 值 分 解法 来 确定 矩阵 4 的 5 数值 秩 就 
会 遇 到 一 定 的 困难 ,就 需要 更 复杂 的 方法 来 处 理 (参阅 文献 [68])。 
现在 我 们 来 考虑 算 法 3.1， 在 误差 出 现 的 情况 下 ， 如 何 较 合 
理 地 终止 分 解 。 此 时 ， 即 使 4 的 准确 秩 是 大， 一 般 进 行 天 步 之 
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lx? 


ja, RY 也 不 会 等 于 零 。 但 如 果 RE 相对 于 A 很 小 的 话 ， 比 如 
对 某 一 较 小 的 正 数 s， 有 
|R 2 leE] Alz = €or, (3.19) 
- 则 我 们 应 该 有 理由 认为 4 的 数值 秩 是 kk ,事实 上 ， 如 果 (3.19) 满 
Z BRA, RGA RHEE 6.6， 可 知 
Ons CRORE lE, (3.20) 
其 中 的 Ok (ROR. 12) Are SCARE R 的 第 +1 个 最 大 
奇异 值 。 再 利用 关于 Householder 变换 的 误差 分 析 结 果 ， 易 证 计 
算得 到 的 Ri 满足 
OR = A+Ex, 
SEP Q EERE, .Ex 满足 | 
[Erlas cien a, 
此 处 后 是 与 于 ,于 有 关 的 常数 〈 参 见 文献 [20])。 王 是 
Ok Rn CR) +oun!’ 20, 
LCE +e EnO, 
1X Be, ERE A SE FIERO = (Ce teen o, 的 RARES Ek. 
另 一 方面 ， 从 不 等 式 (3.13) 可 得 


[Ree be <IRE eSB ye pr! 


K=1,2,e,n, 而 


Pul So, 
因此 ， 如 果 对 某 一 正 数 se 有 
lVevteeerl Seol¥ul, (3.21) 


则 对 正 数 s = (n-k) fe 有 (3.19) 成 立 。 因 而 通常 以 (3.21) 作 为 
算法 3.1 实际 使 用 时 的 停机 准则 . 
上 述 分 析 表 明 ， 如 果 列 主 元 QR 分 解 中 的 上 三 角 怎 阵 尽 的 第 
k +1 个 对 角 元 素 很 小 ， 则 4 与 一 个 秩 为 天 的 矩阵 很 靠近 。 然 而 上 
述 结论 反 过 来 不 真 ， 即 一 个 与 秩 为 上 的 矩阵 很 靠近 的 和 矩阵， 其 列 
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主 元 QR DRRR k+l 个 对 角 元 素 不 一 定 很 小 ,请 看 下 
例 . 
例 3.1 (Kahan， 参 见 文 献 [45]〉 设 


1 -oo -0 m -6 
1 -e 一 
Rn = diag(1,s,"*,s" 1) TE I, 
0 一 
1 


H s +e =], s,c>0. MH Fn=100, c=0.2, FH Ra 的 最 小 奇 
异 值 为 cvs*0.368 x 107°, BI Rn 已 与 奇异 矩阵 很 接近 ， 但 ynn = 
s" 0.133。 
由 此 可 见 ， 列 主 元 QR 分 解 作 为 一 种 判定 矩阵 的 数值 秩 的 方 
法 从 理论 上 来 讲 是 不 可 靠 的 。 但 是 ， 从 实际 计算 的 经 验 来 看 ， 它 
一 般 都 能 得 到 令 人 满意 的 结果 。 
最 后 ， 我 们 顺便 指出 的 一 点 是 ， 列 主 元 OR 分 解 亦 可 用 来 个 
计 和 矩阵 的 条 件数 。 设 AE R"*” 有 分 解 : 
OAP=R, 
其 中 © 为 正 交 和 矩阵 ，P 为 排列 方 了 泗 ，R 是 上 三 角 和 矩阵 ， 且 其 对 角 
JOR MAE 
Viy tE Van 0, 
则 易 证 i 
onCA)= On(R)S Ynn 
OMA HC CRIS Vie 
所 以 ， 有 


OICA) =- Yi 
KC A) = TCAD Yan 


因此 ,我 们 可 用 Y/n EAER R 4) 的 估计 ,Stewart( 参 见 
文献 [63]) 所 作 的 数值 实验 的 结果 表明 :这 一 估计 对 于 揭示 KCA) 
的 数量 级 是 十 分 可 靠 的 ， 一 般 只 比 真实 条 件数 少 2 到 3 倍 ， 而 
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不 会 超过 10 倍 。 


$4 求解 LS 问题 的 从 代 法 


对 于 某 些 大 型 稀 硫 的 LS 问题 ， 与 线性 方程 组 的 情形 一 翌 ， 
用 友 代 法 来 求解 是 非常 有 效 的 。 因 此 ， 这 一 - 池 我 们 就 从 两 个 方 而 
来 介绍 求解 大 型 稀疏 LS 问题 (1.1) 的 夺 代 法 。 这 里 假定 46E 
有 7 人 rank(47=P。 


4.1 基于 正规 化 方程 组 的 古典 选 代 法 


原则 上 讲 ， 任 何 实 用 于 对 称 正定 线性 方程 组 的 迭代 方法 都 可 
Jor FAP OLS 问题 (1.1) 的 正规 化 方程 组 
ATAx= AT, (4.1) 
而 得 到 相应 的 求解 LS 问题 (1.1) 的 从 代 法 。 下 面 就 将 第 四 音 所 介 
绍 的 古典 迁 代 法 应 用 于 (4.1) 所 得 到 的 迭代 公式 简 述 如 下 ; 
为 了 叙述 简洁 ， 我 们 记 4 的 第 7 列 是 a;， 即 
4=|diyaay an ls 
并 记 
dji=ajaji， 7=1,2,e%,n, (4.2) 
D = diag(d,,+-,d,), | (4.3). 
将 Jacobi 迭代 法 应 用 于 (4.1)， 并 适当 整理 ， 可 得 到 求解 LS 
问题 (1.1) 的 Jacobi 迭代 法 的 基本 公式 为 ; 
xxri= Xi +D ATD- Ax), k=0,1,2,.. 
其 中 xo A PRG Ie] 
相应 的 Gauss-Seidel 迭代 法 的 基本 迭代 公式 为 : 


21 = Xk, r, =b-Ax,, 


*» (4.4) 


Ê; = 4; Gr /dj 

pri Fj j tjejs J=1,2, n, (4.5) 
Per 505 — 6545s 

Xk+’ = nils k=0,1,2,% 


相应 的 SOR 选 代 法 ， 只 需 在 上 述 迭 代 公 式 中 将 5 RA 
ô z= watr;/dj, O<0<2 (4.6) 
即 可 ， 其 中 o 是 松弛 参数 。 
紫外 ,第 五 章 所 讲 的 共 斩 梯 度 法 可 以 逐 字 不 变 地 搬 过 来 ,这 里 
不 再 歼 述 .当然 ,为 了 加 速 收敛 应 与 各 种 预 优 技巧 结合 起 来 使 用 。 


4.2 基于 等 价 方程 组 的 SOR 和 SSOR 迭代 法 


由 于 (4.1) 亦 可 写成 如 下 等 价 形式 ， 求 - SA n AE 量 x 和 一 
‘Pom REIL 使 得 


r+Ax=b, ` 
(4.7) 


ATr = 0. 
因此 ， 我 们 亦 可 利用 (4.7) 来 构造 求解 LS 同 题 (1.1) 的 选 代 法 。 
这 里 ， 将 着 重 考 虑 基于 (4.7) 的 SOR 和 SSOR R(t. 
更 不 妨 假定 4 具有 如 下 形状 ， 
H 
A= 9 (4.8) 
As jm-r l 


其 中 41 是 nxn 非 奇异 矩阵 《如 若 不 然 ， 可 适当 调 整 (4.7) 中 方 
程 的 次 序 而 使 (4.8) 满 足 )。 再 把 + A b 作 相 应 的 分 块 


. b 
fih | | | 
w | b, 
Jtrh v, b E R”, w,b,ER™". WC. DAT BR 
Cz=d, (4.9) 


其 中 
A, 0 了 n x b, 
C=| A, I 0 mons |e) d=| b, | 
0 AZ AT ja v 0 


ATF A ÆRA Alii 4 MEE EC 亦 是 非 奇 异 的 ， 
这 里 顺便 指出 ， 方 程 组 (4.9) 常 常用 来 迭代 改进 LS 问题 的 近 


t 
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似 解 ， 而 且 一 般 效 果 都 很 好 。 假定 已 知 LS 问题 (1.1) 的 一 个 近似 
解 2， 记 ?=8- A2?，z 和 了 对 应 的 向 量 = 为 “。 用 双 精 度 计算 
c=d-Cé, 

再 用 单 精度 求解 方程 组 
CzZ=c, 
则 2 +z 2 BGE, Eh z Oy 2 ADA hop E Hy ROY n BE 
量 。 上 述 过程 可 以 重复 ， 直 到 改进 的 近似 解 满足 要 求 的 精度 ， 
现在 ， 青 回 到 我 们 的 主题 ， 考 虑 基 于 (4.9) 的 分 块 SOR 和 
SSOR x (CHE. 
按照 C 的 自然 分 块 ， 对 应 于 第 四 章 中 的 记号 ， 有 


D = diag( A1, I, AD), (4. 10a) 
0 0 0 0 0 7 了 
Cr=-| A 0 Of, Cy=-|0 0 ] (4.10b) 
0 AS 0 0 0 0 
0 0 0 0 0 B; 
oo i 0 0 | Upon} 0 0 0 |, 
0 B 0 0 0 0 
(4.10¢ ) 


其 中 B,= - Ai', B= -4 ，Bs= (AAD 
对 应 的 Jacobi 选 代 矩阵 为 : 


J=L+U, (4.11) 
直接 计算 有 
J? = diag( B, By Ba; B2Bı Bs» B3B2By) 
= —diag(A\'B'™BA,,BB', BB), (4.12) 
其 中 B=A,Ai'. 
对 应 的 SOR ik EIERE 为; 


Za= -oD -oT +U]. (4.13) 
将 (4.10c) 代 入 (4.13) 有 
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I 0 0 la- 0 WB, 


Yao=| -WB, 了 0 0 (l-a)I 0 
0 --wB, I 0 0 (1-@)F 
=(1-)/+Ka; (4.14) 
其 中 
0 0 WB 
K, = w(1-@)B, 0 w?’ By By 
(1 -o)o*B;B, ©(1-©)B; wiB;B,B 
”对 应 的 'SSOR 选 代 矩阵 为 ， 


Fo FU- OUVE -oT +L] -oD A- o) + wU] 
=A= -uD LA- oI +oL (1 -oT +U]. 
(4.15) 
Ae, Za MUFE 


F, =U -oeL) [A-I +oL] Cr- oT + oUJLI — wl] |! 
=U -oL) ‘(C1 -®)F+e@LjIUd-eU) "TL wT tou | 


=M(L)M(U), (4.16) 
其 中 
M(Z) = (I -@Z) (d-o +Z). (4.17) 
直接 计算 可 得 
(1L-o)7 . 0 0 
M(L)=| wo2-o)pB， -ol 0 ， 
w?(2-0)B3B, ©(2-®)B, (1 -wo)7 
a-i 0 w(2—0)B, 
M(U) = 0 a-o 0 。 
0 0 G-I | 
从 而 有 
Fo = MCL)MCU) = (1- 60) + To (4.18) 
其 中 
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0 0 oB, 


人 。= oB: 0 wi(2-w)BB: |, 
®0B;B, OB; w’(2- w)’B,B:B; 
此 处 o=o(w-1)Xw-2), 
定理 4.1 J, 2。 和 .Y。 分 别 由 (4.11),(4.14) 和 (4.15) 给 
出 。 则 有 : | | 
(1) ACPOCL-eC))*,0J, H 有 与 B382Bi 有 相同 的 非 零 特 
征 值 . . 
(2) BACAM Z), 050,450, MEE &E ACE A AE 
C+ 0 1)? = Ap? (4,19) 


的 非 零 解 ， 反 之 ， 对 任意 的 4E 4(7)， 若 4 满足 (4.19)， 则 必 有 
KEM Hare 
(3) BAGCACS.), 0, AO, WHEE EAMA E 


方程 
wW(2-w)ACA+ 1 - wu? = [A-C] o- 0):] (4.20) 


的 非 零 解 ， 反 之 ， 对 任意 的 HCACD, A 满足 (4.20)， 则 必 有 
AEA( Lo). l 
证 明 (1〉 由 (4.12) 知 -有 相似 于 一 个 半 正 定 矩 阵 ， 从 而 
有 
| ACH YL -PJ 0]. 
N A?) = ACB, Bs B.) UAC B2B, Bs) UACB3B:B,), Mi Bi BsBas 
B,B, Bs 和 BsB.B, 有 相同 的 非 零 特征 值 ， 因 此 J 与 B:B:B, 有 相 
同 的 非 零 特征 值 ， 即 (1 ) 得 证 ， | 
(2) BRAG ACHY.), ASO, 020, JBL MR 的 特征 向 量 
为 u= (xT,yT,2T)T， 其 中 x,zE R”, yE R" ”, AN 
Hot=hu, U0, (4.21) 
将 (4.14) 代 入 (4.21) 即 有 | 
(l-w)u+K,u=Au, 
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即 有 
| K,u=(A+o-J])u, 
Wt=Ato-l, ERB KL 的 定义 ， 上 式 即 为 


‘WB z= TX, (4, 22a) 
wÇ] — 0) Bx + w B, Bız =TyY, (4.22b) 
(1 — 0) 0®B, Bax + wl — ©) BY 

+ W’ B,B BZ = TZ. (4.220) 


现 假定 TAO. 由 (4.22a) 可 得 x=zr 'wBiz， 代 入 (4.22b), 得 
y=T (0:(1-w)+T0?)BaB1z; 再 将 x Ply 代入 (4.22c)， 即 得 
{r ol —w) + (] — w) + to? ol — w) + ©} BBa Biz = tz. 

上 式 两 边 乘 以 r*， 并 将 t=4+%-1] 代 入， 再 整理 ， 可 得 

oSA? BaBaBiz = (A+o-1)82, (4.23) 

注意 到 z 闪 0 CAM, C4. 22) 可 推出 亦 有 X= 0，y=0, 这 与 4 六 0 
的 假定 矛盾 )，(4.23) 就 表示 

(A +o- 1)’ 


€ ACB: B2B). 


再 由 定理 的 (1) 成 立即 知 ， 必 存在 4E 4AC(/1》， 使 得 


_(A+o@-1)° 


3 


> 


BN 1 是 方程 (4.19) 的 非 零 解 ， 
4 rc=OK, BDA=1-oFf, ASO, koxi, 于 是 由 
(4.22.40, MA 


即 有 
Ju=0. 
muxo, OEA. Alt, Kat =0 即 有 满足 (4.19)。 
有 反之 ， 对 任意 给 定 的 KE 4(]), 设 44 满 足 (4.19)。 当 4 在 0 电 
w 六 0 了 时， 将 上 述 证 明 过 程 倒 推 回去 即 知 4E 4CZ。); 4 AX<0 而 
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o=0Ħ, A1, Z=, SIPA ACA.) 当 4=0 时 ， 
必 有 ww= 1， 又 2 RAR, PLL A=0CAC G1). XE) 
得 证 。 

至 于 (3)， 只 要 注意 到 7. MS. AU, 而 且 ZAREE 
(4.18)， 就 可 完全 类 似 于 上 述 推 理 过 程 证 之 ， 详 细 证 明 留 作 练 
习 。 证 毕 ， 

为 了 给 出 SOR 和 SSOR 迭代 法 的 收敛 性 定理 ， 我 们 引用 一 
个 经 典 的 结果 : 

引 理 4.1 实 系 数 三 次 多 项 式 

t+plt+qt+r 

的 三 个 根 的 绝对 值 都 小 于 1 的 充分 必要 条 件 是 : 

(1) Ll+r>0, 1-r>0; 

(2) 1+p+q+r>0, l-pt+q-r>0; 

(3) 1-4+pr-r>0. 

证 明 参 见 文献 [7]。 

A B= PpP(]) 表 示 (4.11) 所 定义 的 分 块 Jacobiik RABE 了 的 谱 
半径 。 对 分 块 SOR 迭代 我 们 有 : 

定理 4.2 用 分 块 SOR 迭代 法 求解 (4.9) 时 , 当 生 仅 当 (8,6%) 
位 于 如 图 4.1 所 示 的 区 域内 部 时 迭代 法 收敛 。 


注 4.1 C1) 从 图 4.1 不 难看 出 ， 当 分 块 Jacobi 迭代 法 发 散 
PY (RE I< B<3 时 )， 分 块 SOR ERE BY RES. 

(2) Varga 等 (1984) 已 证 明了 :， 将 分 块 SORER MAFA 
程 组 (4.9) 时 的 最 佳 松弛 因 F oa DS min PpP(.Z。)) 是 
下 面 关 于 o 的 三 次 方程 enf 

4B? +270 -27=0, 0 过 8 一 3 (4.24a) 
的 唯一 正 根 ， 而 且 满 足 


F051 (4.24b) 


PUZa 52- 0p). (4.24c) 


详 见 文献 [52]。 

关于 分 块 SSOR 迭代 法 ， 有 如 下 收敛 性 定理 : 

定理 4.5 用 分 块 SSOR AER ACA. OM, MA MACS, 
位 于 如 图 4.2 所 示 的 区 域内 部 时 和 返 代 法 收 伍 。 


图 4.2 


这 里 需要 说 明 的 是 ， 在 图 4.2 中 
Cw) =[1 + C1 ~- woy) /wo -0s, O<w<a, 
(4.254) 
¥Co) =[1+ -0 {2-0/1 - £1 + C1 ~- 85}, 
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0 一 w<1， (4,25b) 


wets -1], w=4-2v 2, (4.25c) 
Bo = P{W.) = WW.) = 3/51, (4,254) 
Br =P) <PCD=1. (4,25e) 


注 4.2 从 图 4.2 可 以 看 出 ， 无 论 6 二 0 为 何 值 ， 总 可 选择 
一 个 参数 w 使 得 SSOR GRRE: HEATH, 当 SOR ARE 
不 收 伍 时 ， 亦 可 构造 出 收敛 的 SSOR 迭代 法 . 

下 面 我 们 只 给 出 定理 4.3 的 证 明 ， 有 关 定 理 4.2 的 证 明 可 以 
类 似 给 出 ， 详 细 证 明 留 作 练 习 。 

定理 4.35 的 证 明 由 熟知 的 迭代 收 伍 准则 知 ， 用 分 块 SSOR 选 
RERED EHUD, KABEI UAE RIERA 4E 阵 的 谱 
半径 小 于 工 ， 邯 

DT 

其 中 Fo MA. 15) 给 出 ， 再 应 用 定理 4.1 的 (3) 知 ， 对 任意 的 4E 
(0,2 4 
PCF ) = max { lAl: o3(2-0)9ACA4+4-0)w=[A-(1- ©)? }§}. 


(4.26) 
f(A =[A- Co)? P+ ACA + bE - ©0802 — wn 
=Ai+pi?+qatr, : (4.27) 
其 中 


p= (2 ww- 3(1 -w)’, 
9=(I — 2 wp + 30 — 4), 
r= -(1-)*, 


注意 到 A403)CF -PCD3,0]， 根 据 引 理 4.1， 由 (4.26) 和 (4.27) 
知 ，PC9。) 二 1 的 充分 必要 条 件 是 ， 对 任意 的 jEhC- DC 
[0,PCJ)1 有 
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(L-@)*§<1, 
— — 293 34,3 _ 3 
[1 a w)? T? + op -o)3>0, (4.28) 
[1 +A -u wn2 —-)?>0, 
EL- -oJ -2o -w+(1- u>. 
通过 不 太 复 杂 的 初等 运算 ， 可 证 不 等 式 组 (4.28) 对 任意 的 4 

E24( 一 站 成 立 的 充分 必要 条 件 是 : 

CG) 40<o<l tt, 0S P<min{9(w) ,¥()}s (4,29a) 


Gi) 41<o<2hh, 0<p<9(o), (4.29b) 
其 中 9 fn C4. 25), B=PCI). 
对 9CO) FRAY FB 


@’(wy=f(w)glo), 
其 中 
glo) =2[C1 — ©)? + 17 /C30302 — w)39?(w)], 
f(w) = - (0-4) +8, 
而 go) 在 O<0<2 之 内 恒 大 于 零 ， 因 此 立即 有 ,9(o) 在 0 一 0 一 2 
之 内 有 了 唯一 的 极 小 点 ol = 4-272, BE O<o<o, 内 ?C6) 严 
格 下 降 ， 在 0:<wo<2 A eo) PR LI, Hilo =2 为 渐 近 线 。 
对 y(w%) 微 分 得 
4’ (a) =f Cu) Co), 
其 中 
§(o) = 22 MT —)? + TPL = a-o] 
3[(1- @) + C1 — 0) Ty Co) 


frw) =a? +o]. 
而 9(OE 0<0<1 SATA KF ER, be (oO) 0<e<1 之 内 亦 有 
唯一 的 极 小 点 oo = FV 5-D, 而 且 在 0 二 6 过 % 之 内 0) 严 


格 下 降 ， 在 oo<o<LI 之 内 VCo) 严 格 王 升 。 
再 令 go) =Wo)， 注 意 到 0<w<1， 送 当 整 理 可 得 
w4(2-w)?=(1-—0) +(1-0)$, 
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解 此 方程 可 知 ， 在 0<o<1 内 有 唯一 的 解 ， 
Wa = 于 (5 - 1), 


且 易 算出 B66= (00)= 9(00) = 3/5' 3, 
- 据 Y%w)2 和 92) 的 上 述 性 质 和 (4.29)， 我 们 可 以 通 出 如 图 4.2 
所 示 的 收敛 区 域 。 | 


35 完全 最 小 二 乘 问题 


所 请 完全 最 小 二 乘 问题 (简称 TLS 问题 ) 是 指 如 下 的 优化 问 
题 : KECR™"*MrTER", 8 
ILE,r]l p= min, (5. 1a) 
s, t, b+rE BCA+E), (5.1b) 
其 中 Ac R”” MCR" CA. 
如 果 TLS BCS. ALES, WBA, BAER 
(A+E)x=b+r 
的 x 为 TLS 问题 (5.1) 的 完全 最 小 二 乘 解 (简称 TLS AE). 
在 统计 计算 ， 回 归 分 析 和 非 线 性 最 优 方 法 中 都 会 遇 到 上 述 的 
TLS 问 题 ， 
HUQ JL PT eR LS 问题 (1.1) 亦 可 等 价 地 表述 为 ， 求 了 经 
R”, £74 ; 
ir jig = min, (5. 2a) 
s, t, b+re ZCA). (5.2b) 
ERE ALEZ MHRA =2+r， 其 中 r 为 优化 问题 (5.2) 
之 解 。 因 此 ，TLS 问题 (5.1) 可 以 看 作 是 LS 问题 (1.1) 的 自 然 
推广 。 但是， 与 LS 问题 (1.1) 不 同 ， 并 非 对 所 有 给 定 的 数据 A 
Alb, TLS MO. DAA. Blan, VE 


aan 


A= 
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则 对 任意 的 e> 0, BBA OC CA+E.), Hp E, = diag (0,8), 
-但 5&. 多 (A)， 因此， 不 存在 EER*? 和 rER? 使 (5.1) 成 立 , 即 
TLS 问题 此 时 无 解 . 
这 样 ， 我 们 首先 需要 解决 的 问题 就 是 TLS 问题 (5.1) 何 时 有 
解 。 为 此 ， 我 们 先 证 几 个 引 理 。 | 
引 理 5.1 BCR" 是 对 称 正定 和 矩阵，x€ R” 满足 |xl， 


。 如 果 4=x Bx 是 B 的 最 小 (或 最 大 ) 特 征 值 ， 则 x 是 属于 4 的 
RREME, 


证 明 留 作 练习 。 

引 理 5.2 ik BER” * Maha Rio, ECR" “是 满足 
条 件 IEI =o 的 任 一 和 矩阵. 各 果 存 在 非 零 向 量 vE R" 使 得 
(A+E)v= 0, 则 v 必 是 B 之 属于 o 的 右 奇异 向 量 . 

证 明 不 妨 假定 jvi; = 1， 根 据 第 一 章 的 习题 7 ， 可 得 ” 
in rnin lhs [Bolle = |- Ev hslElslElr =o. 
因此 ， 

12zl。 = co。 (5.3) 

mRo=0, WO.DASA Bv = 0， 从 而 "是 属于 c 的 右 奇 

异 向 量 ， 如 果 co 关 0， NOS. D424 

ot =vTBTBv, 
由 引 理 5.1 即 知 ，v 是 87B 之 属于 0 的 特征 向 量 ， 即 vv 是 B 之 
属于 o 的 右 奇异 向 量 。 证 毕 . 

引 理 5.5 i AER" "(m>n), bER”, JER On 2H 

阵 [A,5j] 的 最 小 奇异 值 。 则 | 
ea ICE stile = Ons. (5.4) 
证 明 ids: 
d= int ILE»? Ihre (5,5) 
由 第 一 章 习 题 4 知 ， 
On+1= min ILE ,rs, 


rank ([A+Esb+ rian 
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而 2+rE. 有 (4+ 瑟 ) 欧 含 着 trank((At+E£,b+rj<n, 从 而 有 
dnie (5.6) 
Rime ER™”, FOR 满足 : 
ICE, ?]ile= Cna H rank((A+ #,b+%]) <n, 
则 必 存 在 xE R” MCC RABABE A 
(A+ #)x+a(b+F)=0, (5.7) 
Eea, MO.DASEAb+FEAMOA+E), Mitt 
d= LB Pille = ns, 
结合 (5.6) 即 知 4=an， 即 引 理 成 立 ; 若 a=0， 则 从 (5.7) 知 
(A+E)x=0 H x50, 
从 而 rank(A + 记 ) 二 n。 因 而 ， 对 任 给 的 2 汪 0， 存 在 D.ER”*" 
WE || Dell pce 使 得 
b+7C P(A+H+D.). 
因此 ， 
d<|[H+D.,% ly 
< CH? ile + Dele 


ae 
SO ney +E, 


注意 到 。 的 任意 性 ， 结 合 (5.6) 即 知 4= ac,,:,， 即 此 时 亦 有 引 理 
成 立 。 证 毕 。 

定理 5.1 TLS 问题 (5.1) 有 解 的 充分 必要 条 件 是 至 少 存在 一 
个 对 应 于 FA ,68] 的 最 小 奇异 值 rw 的 右 奇 异 向 量 v， 其 最 后 一 
个 分 旺 不 为 零 。 

证 明 ”充分 性 ” 设 v 是 对 应 于 0411 的 右 奇异 向 量 ， 而 且 ， 
的 最 后 一 个 分 量 不 为 零 .。 现 取 u 是 对 应 于 v Ron. We aH 


n E, 即 


[Ab] = Ople 


当然 ， 我 们 亦 可 要 求 lol, = [ul 1. 
A 
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[Eisto] = -OniiuvT, 
则 有 
IFo Tolle =%ns1> (5.8) 
[AHE btr V= Onu- On u=0, .(5.9) 
注意 到 "的 最 后 一 个 分 量 不 为 零 ， 从 (5.9)7 即 知 
+7oE MCAt+E). 
由 引 理 5.3 即 知 [Eo,7oJ 是 TLS 问题 (5.1? 的 一 个 解 . 
必要 性 Y TLS 问题 (5.1) 有 和 解 EE,rj。 则 由 引 理 5.3 知 ， 
ILE stp = nis 
再 由 b+rE%p(A+E) 知 ， 必 存在 XE R" 使 得 


(A+E)X=b+r, 


=| ži 


对 于 矩阵 [A,5],[E,+] 和 向 量 v 应 用 引 理 5.2, 邯 知 v 就 是 [4， 妇 

之 属于 on41 的 右 奇异 向 量 。 显 然 ，v 的 最 后 一 个 分 量 不 为 零 ， 
注 5.1 BE = ire, n n D" ELADI ZET Eh ARE 

onil 的 布 青 异 向 量 ， 且 :aas0。 则 由 定理 5.1 的 证 明知 ， 


现 令 ， 


人 (5.10) 


Nasr Caen Casi 
是 对 应 的 TLS 问题 (5.1) 的 一 个 TLS HR; RY, Zoe 是 TLS 问 题 
(5.1) 的 一 个 TLS 解 ， 则 v= | i | 就 是 对 应 于 cn+: 的 一 个 右 


奇异 向 量 。 
记 
Prus = {XE 及": * 是 问题 (5.1) 的 TLS 解 }. 
则 有 如 下 结果 : 
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推论 5.1 ik TLS MAS. DAR. MA: 
C1) Prg JEZ hE; 
(2) 有 且 仅 有 唯一 的 trus € Vis, E 


[nus lle = min{ [x fo; XE # ars} (5.11) _ 
通常 称 xnrsg 为 问题 (5.1) 的 最 小 范 数 了 LS 解 ; 
(3) rs = (r TR VERILA, bR 小 奇异 值 
on+1 ERHAN. 
证 明 O 由 问题 (5.1) 有 解 ， 故 多 rrs 非 空 是 显 然 的 。 现 


假定 x,y€ 名 TLs， 则 由 注 5.1 al =al ” la ELA bz 


| 


对 应 于 cwi 的 右 奇 异 向 量 ， 从 而 对 任意 的 tE[0;,1]，: 


ta-n] ! prema MT On. AOA ar al et, Aix + -ty 


E P TLs» Bll 2’ TLs hE. TEDE. 

(2) 如 果 有 了 两 个 向 量 YEr, (EF 

和 xz 人 = tele = min{ |x]. x€ rrs}，x 关 2 

那么 ， 一 方面 由 rus HA, 对 任意 的 4E LOLI tx + C1 -DYE 
ZTLs， 从 而 
lxs lir + Aa- Dyll VieELO,1]; 
另 一 方面 ， 

fix + C1 -t)y2<tlx]2+(1-)]¥lle= Ix, Vtelo,nds 
因此 ， 对 任意 的 上 EL0， 1], A 
| lix + CL — Dyll = [x lle, 
这 与 x 六 y A> KRAE A XC Mors 使 得 (5.11) 成 立 。 即 
DHE. 


D 者 om anam Manna] |e Re 
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wa | | 是 对 应 于 on, 的 右 奇异 向 量 ， 故 rrs 只 含有 唯一 
的 点 (注意 ,这 里 用 到 了 TLS 问题 (5.1) 有 解 的 假定 和 定理 5.1). 
RL. Hon 非 单 重 的 ， 则 至 少 存在 属于 or 的 两 个 线性 无 关 
的 右 奇异 向 量 4 和 vw 。 而 问题 (5.1) 又 是 有 解 的 ， 因 此 不 妨 设 
"= | - | -am u 的 最 后 一 个 分 量 亦 不 为 零 ， 则 4 亦 可 取 为 
| mn 的 形式 ， 这 样 Lrs 至 少 含有 两 个 不 同 的 点 x 和 y 如 
果 


u 的 最 后 一 个 分 量 为 0， || my<0, Mifgutv= 
x+y o l o> 
| | È 属于 onn 的 一 个 右 奇 异 向 量 ， 于 是 x+ 和 * 都 是 
fog 中 的 点 ， 而 且 x 万 x +y。 这 样 就 证 明了 (3)。 证 毕 。 
推论 5.2 设 On. 和 ;分别 是 [A ,5b] 和 A 的 最 小 a} SHA. 
如 果 和 cwi， 则 对 应 的 问题 C5.1) 有 旦 只 有 唯一 的 TLS 解 。 


证 明 ig v= "BCA ZEF Can WHA HA 


1 


量 。 则 必 有 Yn 三 0。 车 不 然 ， 假 定 4 是 对 应 的 左 奇异 向 量 ， 即 
l [A,0 jv=Oq.,uU, 

当然 ， 亦 可 要 求 上 vj,= lul = 1。 这 样 由 “ws = 0， 即 知 

AY= Ons it, lyh = lvl= 1, 

从 而 有 | 


G4 = min | Axl2<|Au}.<o 


n+? 


这 与 已 知 条 件 nac n FIR. A, o 的 最 后 一 个 分 量 不 为 零 ， 

从 而 由 定理 5.1 即 知 对 应 的 问题 (5.1) 有 解 ， 
由 于 

ATA AT™b 

bTA bTh 


+ 


taaria] 


利用 第 一 章 的 推论 6.5 即 知 , 条 件 On On BAB an 是 [A,b | 
的 单 重 奇异 值 ,从 而 由 推论 5.1 的 (3) 知 它 有 唯一 的 TLS 解 .证 毕 . 

现在 ， 我 们 再 来 考虑 如 何 求 问 题 (5.1) 的 最 小 范 数 TLS 解 
XTLS。 


假设 [A,5j 的 奇异 值 分 解 为 


[A,b]= U 


pA 
aa (5.12) 


t UCR" EREE, Via Pepe Ua LE ROPE 
5 HE BE, 之 三 diag(d,,+ "5 Triads Oe Op > p, = Opie eee 
om 


. > 


F= {vE R**, Jeli = 1} span{tpyiy Unite 
45 TLS 问题 (5.1) 有 人 解 ， 则 由 注 5.1 知 


ee EE 
2 ms= [xe R": mroli) 


从 而 ， 如 果 v 是 中 最 后 一 个 分 量 最 大 者 ， 则 按 (5.10) 构 造 出 来 
的 x 必 是 问题 (5.1) 的 最 小 范 数 TLS 解 xrrus。 
现 取 一 个 n+1 一 Pn hy Householder BEH, t 


"ee oa 


[Vpis Vai lH = 


则 易 ios | aehan A a, 如 果 a=0， 则 
TLS 问题 (5.1) 无 解 ， 如 果 e0, M 


i 
tris = ~ 9 2 (5.14) 


综 上 所 述 ， 可 得 如 下 算法 ， 
算法 5.1 
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(1) 输入 A,b. 

《2) 计算 [Ab 的 奇异 值 分 解 (5.12)。 

(3) Wh PRR P EI Ocoee Sop Op Ht = Ona, 

(4) 确定 Householder 恋 换 万 使 (5.13) 成 立 ; 如 果 4= 0， 则 
TLS HEG. DEH, AR: 否则 进行 下 一 步 。 

(5) 按照 (5.14) 计 算 rs. 

(6) 输出 tress AR. 


此 一 算法 中 的 奇异 值 分 解 用 第 七 剖 的 算法 5.2 来 计算 ,这 样 
它 的 运算 量 为 2mn? + 12n°, 
J 题 
. WEH: 对 任意 的 AER” & ACATA = SOA). 
2. 利用 正规 化 方法 求 最 小 二 乘 问题 (1.1)? 的 解 ， 其 中 


1 2 1 
A=|}38 4], b=|1|., 
5 6 I 


3. 证 明 人 恒等式 
| ACX taw) -b3 = Ax- bi- 2awT ATC Ax — 6) +a? jAw]3, 

其 中 AER", DER", x,wE R”, aE R. 并 利用 这 一 恒等式 
给 出 定理 1.1 的 另 一 种 证 明 ， 

4. 给 出 用 Givens 变换 求解 满 秩 "LS 问题 的 详细 算法 。 

5. 证 明 ， 如果 Ax 一 A BAL ->A4T， 则 存在 一 个 自然 数 Ku， 
[E k>k, 时 ，rank( A ) 等 于 常数 . 

6. EM: 如 果 AER” 的 秩 是 n , 则 对 任意 的 EE R”"*"， 
只 要 A411s1El: 二 1， 就 有 ATE 的 秩 亦 等 于 n， 


7. 设 
Ry Rie k 
0 Roo m—k ° 
k n-k 


227 


HE: Ok aS Relo HP on. (CR) 表 示 民 的 第 上 + 1 个 奇异 
(fi. 
8. LEW: 方程 
w4(2-w)3= (1-0) +(1—0)8 


E O<0<1 内 有 了 唯一 的 解 ,= Lvs -1)， 


9. B AER”, vE R”, fvlo=1, WEA, = e. 并 假定 
P 是 一 排列 方 阵 , 它 使 得 PT = w= (0,, 0%, 0n)7 RElo] = lwl 
= iel- 证明， 如 果 AP= OR 是 4P 的 OR 分解， 则 RR 的 第 nn 个 
对 和 角 元 素 nn 满足 , 
ran | ne, 
利用 这 一 结果 设计 一 种 判定 4 的 数值 秩 的 数值 方法 。 
10. 讨论 如 下 的 约束 最 小 二 乘 问题 ， 
min| Ax — bla, 
s.t. Bx=d, 
其 中 ACR™", BER?*", bER”, dER?, xER*, titip 
种 求解 的 数值 方法 。 
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第 七 章 求解 特征 值 问题 的 QR 方法 


$1 特征 值 和 不 变 子 空间 的 条 件数 


这 一 闻 ， 我 们 来 考虑 特征 信 问 题 对 扰动 的 敏感 程度 的 定量 刻 
i. 
和 矩阵 元 素 的 微小 扰动 将 会 对 其 特征 值 和 特征 向 量 产生 什么 样 
的 影响 是 一 个 十 分 复杂 的 问题 。 它 不 仅 与 扰动 量 的 大 小 有 关 ， 而 ， 
且 亦 与 扰动 的 方式 有 关 。 例如， 甜 阵 
0 I = 
0 


A= n ER 


04 
E A= 0 作为 其 4 重 特征 值 ， 对 4 作 微 小 扰动 变 为 
A= 4+8eneT， OLEK], 
WW AA n 个 互 不 相同 的 特征 值 4,,…,4,， 生 满足 
la; | = evn, i= 1,2,9,7 
ZRH, RET EAD * RREZE, TIREE e" 量 级 的 
变化 。 
其 次 ，A 的 特征 子 空间 是 一 维 的 , 而 Aan 个 线性 无 关 的 特 
征 向 量 。 因 此 ， 其 特征 向 量 的 结构 发 生 了 本 质 上 的 变化 ， 
如 果 对 A4 作 如 下 扰动 
A= A4+5eleT。 
WAR EK, AGO 作为 其 mn 重 特征 值 ， 而 且 其 对 应 的 特征 
子 空 间 仍 是 一 维 的 。 
id, ENAMEL TAMER ADR AAA» RER 
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大 量 的 时 间 ， 占 用 大 量 的 篇 幅 。 这 里 ， 由 于 篇 幅 所 限 ， 只 能 对 一 
些 最 基本 的 结果 做 一 简要 的 介绍 . 


1.1 特征 值 的 条 件数 


第 一 章 曾 介绍 的 Weilandt—Hoffman œ MRH, Hermite pE 
和 正规 矩阵 的 特征 值 是 良 态 的 ， 即 特征 值 对 秆 阵 元 素 的 微小 扰动 
不 敏感 。 因 此 ，. 我 们 这 里 着 重 需 要 讨论 非 正规 矩阵 的 特征 值 对 扰 
动 的 敏感 程度 的 数据 标准 ， 

设 4 是 一 个 叶 阶 方 阵 ， 并 假定 A 的 Jordan 分 解 为 

0 "AQ=J， (1.1). 

其 中 是 7n 阶 非 奇 异 方 了 泗 ，J 是 A 的 Jordan 标 准 形 。 利 用 广 闵 
Bauer-Fike 定理 易 证 ， 对 任意 的 EEC”*”"， 只 要 


{QOEQTI,<2'-?, 
就 有 对 任意 的 LE 4CA+E)， 必 存在 LC ACA EE 
fA 4l<2 ollo APE, (1-2) 
FEA p aL APY Jordan 标准 形 中 最 大 Jordan 块 的 阶 数 . 
(1.2) H, Rohl 和 在 一 定 程度 上 反映 了 4 的 特征 值 
对 A 的 元 素 的 微小 扰动 的 敏感 程度 。 因 此 ， 通 常 称 数 
v(a = iaf [Ollo la (1.3) 


为 4 的 谱 条 件数 ， 其 中 
Da= (QEC™": QUAQ= Th. 


WAA UCAS 1, MASABIERMBRN, A vCAD=1,. 

虽然 (1 .3) 所 定义 的 谱 条 件数 vA) 的 大 小 在 一 定 程度 上 反映 
了 其 特征 值 对 扰动 的 敏感 程度 ， 但 它 是 对 4 的 全 部 特征 值 整体 而 
言 的 ， 并 不 反映 每 个 具体 特征 值 的 敏感 程度 。 对 于 一 个 非 正 规 方 
阵 ， 它 的 特征 值 ， 有 的 可 能 对 扰动 十 分 敏感 ， 而 有 的 则 不 敏感 。 
例如 ， 和 矩阵 
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_ p- 
有 两 个 互 不 相同 的 特征 值 a 和 b&b。 对 A 作 如 下 的 微小 扰动 
A= 4+senezl， O0<e<1, l 
则 特征 值 a 不 变 ， 而 特征 值 5 BH n- 工 个 互 不 相同 的 特征 值 


1 


4y=b +en erit, 1=0,1,…),7 一 2。 
因此 ， 我 们 需 对 每 个 特征 值 分 别 对 待 ， 给 出 其 条 件数 的 定义 。 

先 来 考虑 单 特 征 值 的 情形 。 设 4 是 4 的 单 特征 值 ，* Aly 分 
别 是 4 之 属于 4 的 右 、 左 特征 向 量 ， 即 
l Ax= Ax, nA AyT, x0, y0. 

A BE eles 1y1。= 1。 则 容易 证 明 数 
l = |yTx] (1.4) 
fe Hy A EWA nS, THA s>. 

此 外 ， 利 用 函数 论 的 一 些 基本 结果 ， 可 证 : 对 任意 的 EE 
C”, Ea >OUREle|<e be CR OT Be Ace, W 
足 : 

(1) fEle|<eo E, Ae) EERE A +sE 的 单 特征 值 ; 

(2) ACO) = A, A'O) = yTEx/y™, (1.5) 
-上述 结 论 的 详细 证 明 参 见 文 献 [10]。 

从 (1.5) 可 知 ， 时 ， 有 


< (1.6) 


1 
. la7co = | tyTx| =A 


HU E=gx*it, KIER. Hi, A 
Jace) -Al = [XC0)e FOC) IK gy tO, (1.7) 
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粗略 地 讲 ，(1.7) 表 明 ，4 的 元 素 有 se 量 级 的 扰动 ， 则 其 特 
WE 4 的 变化 大 约 为 s/s(4)， 因 此 ,我们 称 数 1/s(4) 为 4 的 单 特 
征 值 4 的 条 件数 。 当 (1) 很 小 时 ， 就 说 4 是 病态 的 : 否则 , 就 说 
4 是 页 态 的 。 

ASp, Wilkinson 于 1972 年 从 几何 上 曾 明了 s(%) 很 小 的 实质 
是 4 与 一 个 以 4 为 其 重 特征 值 的 矩阵 很 靠近 .他 证 明了 当 s(4) 
<I, FEE RS 

JESSA CL- scat, 
使 得 .A +E 以 4 为 其 重 特征 值 . 

当 4 是 4 的 重 特 征 值 时 ， 其 敏感 性 问题 变 得 非常 复杂 ， 至 今 
仍 没有 得 到 彻底 解决 。 只 是 当 4 非 亏 损 时 ， 孙 继 广 于 1992 年 给 出 
了 其 条 件数 的 定义 ， 但 其 讨论 相当 复杂 ， 因 此 这 里 不 再 丈 述 ， 有 
兴趣 的 读者 可 参阅 文献 [65]。 


1.2 不 变 子 空间 的 条 件数 


下 面 我 们 再 来 考虑 特征 向 量 的 敏感 性 问题 . 先 假定 AC C"*" 
有 7 个 互 异 的 特征 值 1,…,4n， 对 应 的 左右 单位 特征 向 量 分 别 
为 Jpyn 和 xx Xn. FIR ECC "REVEL. = 1。 则 利 
用 函 数论 的 某 些 结果 可 证 ， 存 在 so>0 和 在 |e| < 二 eo。 上 解析 的 数 
(PBR A, COA PARK xi (6), T= 1,2,.…,n， 使 得 


CA +€E)X ; (E) =A; (EDX; CED, (1.8) 
并 满足 
AiO A ¥;COD=X,. 
假定 x;(e) 的 泰勒 展 式 为 


x, (€)=x, ez, +OCe), (1.9) 
由 于 xi，xn 作成 C” 的 一 组 基 ， wA 


z= Zi a; EC. (1.10) 
j- 


将 (1.10) 代 入 (1.9) 即 有 
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XiE)= (1+EQ x, +e >), jx +O), (1.11) 
js 
由 此 可 况 ， 我 们 可 以 通过 给 x,(s) 适 当地 乘 以 一 个 解 机 的 数值 图 
数 ， 使 得 对 应 的 泰勒 展 式 fe, 的 表达 式 (1.10) 中 之 0;;= 0。 现 
E, BE x (se) 已 选 好 使 得 a;; = 0， 并 将 41C5) 的 泰勒 形式 
AiCE) =A; +Ai(0)e + Oe?) 
和 (1.11) 代 入 (1.8);， 再 比较 s 项 之 系数 ， 可 得 


Da Ch Aj CAL OI — EDX;. (1.12) 
jæi . 
在 (1.12) 两 边 左 乘 好 ， 并 注意 到 好 zi = 0，i 记 1， 即 有 
Q; CAA; Yx ~ Y}Ex,, 71, 
即 
a; j= YIEX /LOA -Apy ], srt, (1.18) 
无 妨 假定 SCA) = Lyte; = 9 了 3x;。 则 将 (C1.13) 代 入 (1.11) 即 得 
Xi(E)= Xi eG has ox,+O0C8), (1.14) 
. ji j j 
这 表明 ， 特 征 向 量 的 敏感 程度 ， 不 仅 与 其 他 特征 值 的 条 件数 的 大 
小 有 关 ， 面 且 亦 与 这 一 特征 疝 量 所 对 应 的 特征 值 与 其 他 特征 值 的 
分 离 程度 有 关 。 当 特征 值 分 离 不 明显 时 ， 特 征 向 量 对 扰动 就 会 变 
得 十 分 敏感 。 因 此 ， 相 对 集中 的 特征 值 ， 对 应 的 特征 向 量 是 十 分 
病态 的 。 但是， 如 果 将 敏感 的 特征 向 量 放 在 一 起 作成 4 的 不 变 子 
空间 ， 则 可 以 是 不 敏感 的 。 为 了 说 明 这 一 事实 ， 我 们 先 简要 地 回 
闫 一 下 不 变 子 空间 的 定义 和 基本 性 质 。 
HACC", ZCC" 是 一 个 1 维 子 空间 。 如 果 ALTR 
CHIH TE RM eC 多 有 AxE 名 )， 则 称 名 是 4 的 一 个 不 变 子 空 
i. 
设 名 = BOX), HP X EC, XIX = 。 则 由 不 变 子 
空间 的 定义 易 证 ， 参 是 4 的 不 变 子 空间 的 充分 必要 条 件 是 存在 
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AXISXA (1.15) 

现 假定 多 = FOX )CKLEC™!, XIX) 是 4 的 二 个 不 
变 子 空间 ， 并 假定 An EC'*! 满足 (1.15)。 再 设 ACAD = {A 
Art. RBM ALA 亦 是 4 的 特征 值 ， 且 由 入 唯一 确定 与 
Xi 的 选取 无 关 。 因 此 ， 通 常 称 4 …;41 为 4 在 不 变 子 空间 多 上 
的 限制 Al. 的 特征 值 。 

设 ACAD = TAs Ant 且 {4 A D As An} E. 
则 有 且 仅 有 唯一 的 4 的 不 变 子 空间 全 使 得 4|; 的 特征 值 就 是 1:， 
,41。 有 即 由 X41,…,4; 可 确定 4 的 唯一 的 ! 维 不 变 子 空间 。 

事实 上 ， 由 Schur 分 解 定 理 知 ， 存 在 本 年 阵 @ 使 得 

Q*AQ=T, (1.16) 

， 其 中 人 是 对 角 元 素 依 次 为 0: nz WH LEA RE. SL OMT 
分 块 如 下 


An ECI 使 得 


Tai Tiz l 
Q=LQ:» Qi, T= 0 rl 
i n-i 
则 由 (1.16)， 可 得 
AQ: = QiT 15 (1.17) 
QA= T2204. (1.18) 


从 (1.17) 即 知 ， 多 = 罗 (Q) 是 4 的 一 个 工 维 不 变 子 空间 ， 而 且 
Ale 的 特征 值 正 好 就 是 41，… ,411， 

若 多 := BOX KE C™!, XTX HT WEA PRE 
子 空间 ,并且 4|z, 的 特征 值 也 是 入 ,4s,…,41， 则 存在 AE 
Cixl 使 得 | 

AX1= Xidis (1.19) 
mE An 的 特征 值 是 4,… :4 。 由 (1.18) 和 (1.19) 可 得 

7 T2202X1= Q3AX1= O2X1An 

Hp 
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Ts (QZ2X1) - (OQ2X1) A = 0。 (1.20) 
而 条 件 ACT 22) (VACA) = {Arsis An} {Arse*,Ar} =ø, 25 
着 和 矩阵 方程 组 
TY ~ YAi:=0 
只 有 了 礁 一 的 零 解 了 = 0。 故 (1.20) 欧 含 着 
Q3X1=0. 
从 而 有 
B= RX) = #(O)*= RODE 2 
:如果 A 的 特征 值 满足 
[al> Ar] > Apel eS Anl. 
则 称 由 41,…,41 所 确定 的 唯一 的 不 变 子 空间 为 4 的 优势 不 变 子 
空间 ， 通 常 记 作 多 1(4).， 
现在 我 们 再 来 考虑 不 变 子 空间 对 扰动 的 敏感 性 问题 。 从 前 面 
对 特征 向 量 敏 感性 的 粗略 分 析 可 知 ， 对 于 4 的 一 个 不 变 子 空间 
2 ， 其 敏感 程度 应 与 41 的 特征 值 与 4 的 其 余 特征 值 的 分 离 程 
度 有 关 ， 而 这 种 分 离 程度 的 较为 合适 的 度量 就 是 如 下 定义 的 分 离 
度 ; 
i BEC, cec", MPRA 


sep(B,C)= inf [PB-CPla “(1.21 
| Seo 
为 8 与 C 的 分 离 度 。 
可 以 证 明 ， 当 16B5)In ACC) = SR, sep(B,C)>0; 而 县 对 任 
iy BRC 有 | 
sep(B,C)<min{|A—-u]: AG ACB), HEACC)}. 
由 此 可 知 ， 分 离 度 确实 在 一 定 程度 上 反映 了 8 与 C 的 谱 集 之 间 的 
远近 程度 . 


利用 分 离 度 的 概念 ， 我 们 可 以 第 出 不 变 子 空间 拓 动 上 界 的 如 
下 估计 : 
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ACC", XLX X: JARE, X ECCS 1 
<2z -1)。 并 假定 罗 (XD 为 4 的 一 个 不 变 子 空间 .再 设 XX*AX 和 
X*EX 与 区 相 一 致 地 分 块 为 


xx [42 42] yrpxe [En at 
0 A22 Ez, ` Ez 
如 果 
Ô = sep( Ai, A22) — (lEn le + E222)>0, 
并 且 


1 
ô] Enla Ale + [Erl < F> 


则 存在 X= 4+ 巨 的 不 变 子 空间 gR), Ecri, EA 


2iEale 
é} . 


dist( A(X), ZDS (1.22) 


土 述 结果 的 证 明 较 每， 这 里 不 再 给 出 ， 有 兴趣 的 读者 可 参看 
文献 [10-] 的 第 三 党 第 八 节 。 

(1.22) 表 明 ， 不 变 子 空间 敏感 程度 与 有关。 而 对 于 微小 拢 
动 ，6==sep(An，Az2)。 因 此 ， 通 常用 1/sep(A1i,A2s) 作 为 不 变 子 
空间 .多 (XX1) 的 条 件数 。 当 sep( An, Azs) 很 小 时 ， 就 说 .多 (X1) 是 
病态 和 的; 否则 就 说 多 (Xi) 是 磊 杰 的 . 

作为 本 节 的 结束 ， 我 们 再 来 看 一 个 简单 的 例子 。 


设 
1 0 | 2 0 
» A= ° 
0 1 0. 2 


| [Am O- , 
ali el 其 中 A1 = 
则 容易 算出 ， sep(4iy Ax) = 1, H. A 之 由 特征 值 1 ,IT 依 定 的 唯一 
的 不 变 子 空间 是 .BCX1)、 其 中 


X= 


oc O = 
> o m. 5 
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如 果 对 4 作 微 小 扰动 变 为 
Asaree" 0 | 
Ea Aw 
其 中 
e | 
E = 9 <el 
E 0 


则 通过 简单 的 计算 可 知 ，4 对 应 于 特征 值 1,1 的 不 变 子 空间 是 
PX), HRP 


l 
V Ite 0 
X= 0 i 
0 0 
ne. 0 
Vite? 


因此 ， 容 易 算 出 
dist( #(X1),#CX1)) = | XiXT- Z. XTi: 


Vite2 sepCAii,Ag)” 


§2 双重 步 位 移 的 QR 算 法 


2.1 QR 算法 的 基本 思想 


QR 算法 是 电子 计算 机 问世 以 来 计算 数学 的 重大 进展 之 一 ， 
是 目前 计算 中 小 型 黎 密 矩阵 全 部 特征 值 初 特征 向 量 的 最 有 效 的 方 
法 。 它 源 于 Rutishauser 的 LR 算法， 是 由 Francis 和 Kublanov— 
skaya 在 60 年 代 初 期 独立 地 提出 的 。 其 基本 迭代 格式 如 下 : 
(i 1 = Q。 Ra, 


m= R, Q ms 


(2.1) 
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其 中 As AEC", Qn HBB, Ra 为 上 三 角 RM, m=1, © 
25°, 

每 个 初次 见 到 这 一 迁 代 的 人 ， 总 会 感到 有 点 纳 问 儿 ， 这 和 特 
征 值 有 什么 关系 ? 怎么 会 想到 用 这 样 的 方法 来 求 特征 值 呢 ? 这 一 
小 节 ， 我 们 就 试图 回答 这 些 问 题 。 为 此 ， 我 们 将 从 秩 1 矩阵 CH 
秩 为 1 的 矩阵 》 的 特征 向 量 谈 起 。 

设 A=uvT, 其 中 u,v 是 C" 中 两 个 非 零 向 量 。 对 任意 的 
x EC", xX0, $ 

y= Ax = (vTx)u, (2,2) 


mÈ y=0, 则 x 就 是 属于 4 的 零 特 征 值 的 特征 向 量 ， 如果 ys, 
则 
Ay = uvTy = uvT(vTx)u 


(2.3) 


= (vTu)(vTx)u=(uTu)y, 

Rp y Rte T A EE oTu 的 特征 向 量 。 

由 此 可 见 ， 如 果 我 们 事先 只 知道 4 是 秩 1 矩阵 ， 而 并 不 知道 
其 县 体 表 达 形 式 ， 则 可 从 任 一 非 零 向 量 x 出 发 ， 至 多 通过 两 次 矩 
阵 和 向 量 的 乘积 ， 就 可 求 得 矩阵 4 的 一 个 特征 值 和 对 应 的 特征 向 
量 。 

对 于 一 般 的 方 阵 A EC""*， 假 定 4 是 非 亏 损 的 ， 即 A4 有 如 
下 分 解 | 

A=XAYT, (2,4) 

fir A = diag(Ai tAn), XYT=F. 用 x; Aly, 分 BW ARXA 
Y Hos + Fi], WY (2.4) 可 改写 为 


A= DJA. *; 97. (2.5) 
$= 
”再 假定 
[Al >| Ag] S>] Anlo (2.6) 


Hid A=x, 97, WA 
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se ai] |, eam 
2 1 


n A; t 
at > (4) ayy 
其 中 1= Gn 一 1Dmaxjx; gj。。 这 表明 ， 对 于 充分 大 tk. A/A} 
与 秩 1 矩阵 4 非常 靠近 。 Pk, BRE, IHES H 


非 零 向 量 * ， 当 充分 大 时 ， 如 果 - 生 -x0， 则 向 量 
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AŻ 
A% 
就 是 4 的 一 个 很 好 的 近似 特征 向 量 。 

这 样 ， 我 们 自然 想到 利用 〈2.7) 来 求 4 的 近似 特征 向 量 。 
然而 ， 实 际 计算 时 ， 这 是 行 不 通 的 。 其 原因 有 二 : 一 是 我 们 事先 
并 不 知道 A 的 特征 值 41,， 二 是 对 充分 大 的 计算 A 的 工作 量 是 
KARAM. 

仔细 观察 (2.7) ， 不 难 发 现 (2.7) 中 的 因子 alt 仅 对 向 量 
Atx 的 大 小 起 作用 ， 并 不 影响 它 的 方向 。 而 我 们 所 感 兴趣 的 只 是 
Atx 的 方向 ， 并 非 它 的 大 小 。 因 此 ， 我 们 不 必 非 用 Al! 来 作为 因 
子 ， 而 可 用 任意 其 他 方便 的 常数 作为 因子 (为 了 防止 溢出 ， 因 子 
是 必要 的 ) 。 其次， 计算 Ax, IPRA At A 好 之 后 再 
来 计算 ， 只 需 选 代 地 进行 即 可 。 基 于 这 样 的 考虑 ， 我 们 就 可 以 设 
计 如 下 的 迭代 格式 ; 

Y, = Au; 

u=, CH) 是 y 的 模 最 大 分 量 ， (2.8) 

uU,=Y,/Py, k=1,2,0%, 
ep ue C* 是 任意 给 定 的 初始 向 量 ，| uol .= 1. 

萄 证 在 条 件 2.60 成立 的 前 提 下 ， 只 要 u 选取 得 不 要 太 精 
E, COOPERA u) RUC A SR A, 的 一 个 特 
征 向 量 小 ， 数 值 序列 {44}i- BR Oe BI A We Oe aR OBE te RE 


Ae | Arh. FRA BRON BT OR RR GE, Bi 


x (2.7) 
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它 仍 是 求 大 型 稀 朴 拭 阵 少数 几 个 模 最 大 特征 值 常用 的 方法 之 一 -。 
现在 我 们 再 来 考察 一 下 乘 索 法 的 几何 意义 。 大 家 知道 ， 特 征 
HÈ o 只 不 过 是 特征 子 空间 span{v,} 的 一 个 代 表 ， 而 这 个 特征 
子 空 间 正 是 我 们 感 兴趣 的 对 象 。 类 似 地 ， 选 代 所 得 到 的 每 个 xz 都 
可 看 作 子 空 间 span{u,} = span{4tuo} 的 一 个 代表 。 这 样 一 来 , 乘 
. 知 法 就 可 看 作对 子 空间 的 迭代 过 程 ， 首先 选 取 一 个 一 维 子 空间 

S =spanfuo}， 然 后 逐步 形成 选 代 序列 
S,AS 01, APS or, (2.9) 


这 里 ASS Ras SEA 作用 之 下 的 像 空间 。 子 空间 ATS 将 随 着 
k 的 增 大 逐步 逼近 4 对 应 于 4: 的 特征 子 空间 人 = span{v1}, 即 
dist( Acta ,T)-—_>0, k=, | 


He He Fe 1: FX 3k HE BAA, BET Ae 
个 工 维 子 空间 S$ ， 并 形成 序列 〈2.9)。 可 以 想象 ， 这 样 得 到 的 子 
空间 序列 应 该 收敛 到 A 的 一 个 工 维 不 变 子 空间 。 由 于 实际 上 ， 我 
们 不 可 能 在 整个 子 空间 上 进行 欠 代 ， 而 是 必须 选取 S 的 一 组 基 ， 
在 基 上 作 同 时 迭代 。 有 具体 来 讲 ， 实 际 上 按 如 下 格式 进行 迭代 ， 
Zi = AQ,-1, 
l 


Q Ri =Z: 
其 中 Oo 是 S 的 标准 正 交 基 作 成 的 nxl BR, O, EWE OO = 
L Winx! SR, Ri 是 :xt EZR., BRO, 的 列 就 构成 子 
空间 AS 的 一 组 标准 正 交 基 .通常 称 KK RE (2.10) WIE RB 
代 落 ， 有 时 亦 称 子 空间 选 代 靶 或 同时 选 代 法 。 


(k=1,2,°*), (2.109) 


现 假定 4 的 特征 值 满 足 
[14 人 0 人 > 全 人 (2.11) 
并 假定 Qo ME 
#(Q,) 1 G,CA*)* = {0}, (2.12) 


则 可 证 存在 常数 C ， 使 得 
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dist(.#(Q,), BDirCANSC 


Ate k 
i 


’ (2.13) 


HED, C4) 和 DCAD DBR RAM A* LER ES 不 BPS 
间 。 这 一 结果 的 证 明 十 分 繁 锁 ，. 这 里 不 再 给 出 ， 有 兴趣 的 读者 可 
参看 文献 [37]. 
因此 ， 由 (2.10〉 选 代 产 生 的 子 空间 序列 {多 (Q)}?- 1 将 以 
速度 |4141/411* 收 敛 于 4 的 优势 不 变 子 空间 DCAD. | 
EAE (2.10〉 中 取 1=n， 并 假定 4 的 特征 值 满足 
Ja {=> lå] >> Aal. 
记 
Q =a sg], k=0,2, =, 
再 假定 
span{g) 6, gP N Z; (A*)+={O}, f= 1,2,0,n-1, 
则 有 
dist(D ,CA), span{q?, e+, git) }) +0, 天 一 co 
X} 1=1,2,e¢,n-1 成立， 其 中 的 多;(4) 和 多 ;CA*) 分 别 表示 4 
和 4* 的 ! 维 优势 不 变 子 空间 。 
由 此 可 见 ， 如 果 定 义 
T,=OQTAQ;, k=1,2,0%, 
WT, “ve” -F—-+ L= fee. AXPRM PH, lan 时 的 
正 交 迭代 实质 上 是 逐次 “逼近 ”A 和 的 Schur 分 解 的 一 种 迭代 法 。 
M (2.10) 可 得 
Ty-1 =QOF-,AQ,-1 = (QF-10DR:; 
T, = Q7AQ, = QFAQi- 1 CQ7- 1.01) = Ri, CQ7-1Q,). 
因此 ， 如 果 我 们 将 〈2.10) 直接 变 HAT. BT. OR, W 
可 得 到 如 下 的 近代: 
To=A; 
Tr-1=Q:R, COR DR), 


T, = RQ; K=1,2,**, 
这 就 得 到 了 著名 的 QR 选 代 。 至 此 ， 大 家 已 经 明白 ，@R ik 代 实 
质 就 是 1 = 刀身 正 交 选 代 法 的 一 种 巧妙 的 实现 ， 而 正 交 迭代 法 是 
乘 寡 法 的 一 种 自然 推广 。 


2.2 Æ Schur 标准 形 


BLES DRE AY PROPS ty AR AE EAL OBB 是 关 于 实 和 矩阵 

的 ， 因 此 我 们 自然 希望 设计 只 涉 及 X Z OR 选 代 ， 即 给 定 

AERTS, Aad, 构造 选 代 ; 
=Q; R> 


Ar+1= R; Qi, 

Hp Q, 是正 交 和 矩阵 ，R。 是 上 三 角 和 矩阵 . 

然而 ， 此 时 由 于 复 共 斩 特 征 值 的 在 在， 我们 自 然 不 能 期 望 
(2.14) 产生 的 A, 仍然 逼近 于 一 个 上 三 角 和 矩阵 ( 即 A 的 Schur 标 
HIG). BA, A, 将 趋向 于 什么 呢 ? 这 就 涉及 到 一 个 实 和 矩阵 在 正 
交 相 似 变换 下 的 标准 形 问 题 。 完 全 类 似 干 Schur 分 解 定理 的 证 明 
可 证 : 

定理 2.1 (E Schur JAD ik ACR". WF EE ZIE 
QE R"*"， 使 得 


无 = 1],2,"， (2.14) 


| Ra Riz Rin B 
| | 

0 Raz Rom : 

OPAQ= | Popo p (2,15) 
Lo 0 Ran _| 


其 中 R: REA—-T+HMLEH, REE-TRA- HRA 
的 2 Br Fr Re. 
这 一 定理 的 证 明 作为 练习 请 读者 自己 给 出 。 
人 
上 三 角 阵 被 称 作 4 的 实 Schur RER. BR, RERBA KE 
阵 的 实 Schur 标准 形 ， 我 们 就 可 很 容 BRM 的 全 部 特征 值 ， 
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A AiE K FERIE SPE W H K A TEREE 
(2.14) EU T A HK Schur 分 解 ， 事 实 上 也 确实 如 此 ， 在 一 
定 条 件 下 ， 可 证 (2.14) 产生 的 A E “GUE” F AM eSchurgy 
准 形 。 

其 次 (2.14) FARRAR AR ARS, SR 
因 有 二 : 一 是 每 次 先 代 的 运算 量 太 大 (大 约 是 0(n3)); 二 是 收 
敏 速度 太 人 慢 〈 依 赖 于 特征 值 的 分 离 程度 )。 因此， 要 使 甚 成 为 一 
种 高 效 的 方法 ， 就 必须 尽 可 能 地 减少 其 每 次 迭代 的 运算 量 ， 提 高 
-其 收敛 速度 。 这 就 是 本 节 下 面 所 要 讨论 的 主要 内 容 。 

在 下 面 的 讨论 中 ， 如 无 特别 说 明 ， 我 们 总 假定 给 定 的 n 阶 方 
RE A 是 实 的 。 


2.3 + Hessenberg 4E 


MK (2.14) 知 ， 对 一 般 的 方 阵 完 成 一 次 QR 和 迭代 所 需 的 运算 
REO). 但是， 如 果 在 进行 9R 迭代 之 前 ， 先 对 4 进行 适当 
的 相似 变换 ， 使 其 具有 较 多 的 零 元 素 ， 即 适 当选 取 非 奇异 矩阵 
Gu， 使 

Ag = Qo 4Cn (2.16) 
具有 较 多 的 零 元 素 ， 然 后 再 对 A, 进行 OR 选 代 ， 则 可 望 使 每 次 
和 迭代 的 运算 量 大 为 减少 。 

当然 ， 我 们 只 能 利用 垂 阵 计 算 的 三 种 基本 工具 来 实现 Ou 和 4 
的 选取 。 首 先 来 看 利用 Householder 变换 ,可 以 得 到 什么 样 的 Ao. 

对 于 给 定 的 4 Hla, ER", Wb, RIA 然 应 该 选取 
Householder 变换 Hı, 1E HA 的 第 一 列 有 尽 可 能 多 的 澳元 素 (至 
多 只 能 有 7n - 工 个 零 元 素 )。 然 而 ， 为 了 保证 对 4 进行 相似 变换 ， 
在 对 4 进行 了 行 变 换 之 后 ， 必 须 亦 对 4 进行 同样 的 列 变 换 ， 即 应 
”将 Hi PERT HA 上 变 为 

H, AH. 
这 样 ， 为 了 保证 已 在 万 ,4 的 第 一 列 所 出 现 的 零 元 素 不 致 于 在 右 
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Æ H, 时 被 破坏 掉 ， 我 们 应 该 选取 A, 具有 如 下 形状 


mf 0 j (2.17) 
0 H, -l 
1 R 一 工 
利用 形 如 (2.17) 的 Householder 变换 对 A 进 和 了 相似 变换 即 有 
HAH. = | on aH, | (2.18) 
Ha, HA H) 


其 中 aT = (apparan), QS = (aizas Qin) An 是 4 的 
AP n-i E BE. H (2.18) $ 知 ，Householder 变换 
A, 的 最 佳 选择 应 该 使 得 | 

Ħa, = pe), (2,19) 
其 中 pER，e Bn-1 MAREN Fl. RE HK, Ha 
取 形 如 〈2.17) 的 Householder 变换 Hi, f (2.18) 的 第 一 列 有 
ee 


， 再 对 A= A, Aull, 进 行 间 样 的 考虑 ， 又 可 找到 
oaet es 变换 


i D 
H.=| jerm», 
0 H 


2 


使 得 
(HAH 2)¢, = Q |. 
, 0 
从 而 令 | 
1 0 
H, = P FH, |: 
即 有 


HH AH, H; = 0 * . 


0 | * 


如 此 进行 9 一 2 步 , 即 可 找到 n - 2 个 Householder WH, , +, Hao 

使 得 

Hp- HAH ve Hn-2=H, 
其 中 已 = (Ch, E 
0， t>] +l, 


BI 
hy hia hg hin. Bin 7 
he, has hs hasn- i an 
H= O ha, hgg … hamna, Aan |e (2.20) 


0 0 0 >e Ann- Ann 
i ts Ran (2.20) WEBE 4b Hessenber gti, 
| 现 令 
Q= HiHoHn-2e 
则 有 
QTAQ =H. (2.21) 
即 上 述 过 程 将 4A 正 交 相 似 变换 成 一 个 上 Hessenberg 矩阵 H CH 
yO DO DA BTAD «HAAR 2.2D 为 4 的 上 
Hessenberg 分 解 ， 
现在 ， 我 们 再 来 考察 对 上 Hessenberg Hikt HUE 行 一 次 QR EK 
代 
H=OR, H=ROQ 


所 需 的 运算 量 是 多 少 。 基于 万 的 特殊 形状 ， 九 的 OR 分 解 可 用 
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Givens 变换 实现 ， 即 计算 n 一 1 个 Givens BMG; = G(i,1+1,0,)， 
1= 1,2,e,n-1, fË 

Grn- Gn- GAFR 
HEZA: Ble, A 可 按 如 下 方式 计算 


A= RGTGS Ga- le 


A A TE Fe BUI — eh BE a m 1s TE ak A? CR —- Beet). 
此 外 ， 容 易 证 明 这 样 得 到 的 及 仍然 是 上 Hessenberg HRE, jX 
样 ， 我 们 就 可 一 直选 代 下 去 ， 每 次 迭代 的 运算 量 都 是 4 ， 
意 结 上 面 的 讨论 可 知 ， 先 计算 正 交 垂 阵 0。， 使 OTAQ) =H 
上 Hessenberg 年 阵 ， 然 后 再 对 万 进行 QR 迭代， 就 可 使 BK 
的 运算 量 大 为 减少 。 
Fil FA al fy Householder 变换 约 化 A HE Hessenberg 形 的 方法 ， 
可 总 结 为 如 下 的 实用 算法 . 
算法 2.1 
(1) MA A =[a;; h k=l, 
(2) if n-k ifr Householder 恋 换 A,, 1E 


[pei | k 
_ | Qs ask : 0 
Hy : :二 ， : ? 

| an, J 0L 

A:=H,AH,, 


其 中 五 , =diag(i,,H,). 
(3) 如 果 k<n-2, Mj k:=k+1 $PC); 否则 ， 输 出 有 关 


这 一 算法 计算 出 A 的 上 Hessenberg 形 就 存放 在 A 所 对 应 的 存 
人情 单 元 内 ,所 斋 运 算 量 是 5n /3; 如 果 需 要 去 积 @n = 万 :万 :万 1， 
” 则 还 需 再 增 加 运算 量 2n3/3， | 7 
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此 外 ， 用 算法 2.2 计 算得 到 的 上 Hessenberg 阵 且 满足 
H=Q™A+EDQ, | 
Hp OQ REER, El e<c Ales, RB cB HR GEM 
文献 [71]) 。 
当然 , 我们 亦 可 用 Givens 变换 将 A 约 化 为 上 Hessenberg 形 ， 
KREG ZAR Tn. 但是， 如果 A 有 较 多 的 零 元 素 ， 则 适 
当 安 排 Givens 变换 的 次 序 ， 可 使 运算 量 大 Amb. BS, AT 
节省 运算 量 ， 也 可 采用 列 主 元 的 Gauss 消去 法 ， 将 4 利用 非 正 交 
的 相似 变换 约 化 为 上 Hessenberg 形 . 不 过 这 样 做 ,虽然 运算 量 少 ， 
但 数值 稳定 性 较 差 。 
尽管 ， 一 般 来 讲 ， 上 Hessenberg 分 解 是 不 唯一 的 ， 然 而 ， 可 
以 证 明 
定理 2.2 设 AER"””"* 有 如 下 两 个 上 Hessenberg 分 解 : 
UTAU=H, VTAV=G, (2.22) 
Hh U = [uun JV = [vn E oY E 36 RE, H= 
CA; ; J G = Lg: jÆ L Hessenberg HRE. AP =v, mE HHA 
对 角 元 素 hoan 均 不 为 零 ， 则 存在 对 角 元 素 均 为 1 或 -1 的 对 角 
Fake D， 使 得 
U=VD, H=DGD — (2.23) 
CH u; = +v, [h,;]=loijl, 1.7=1,2,°%,7). 
证 明 假定 对 某 个 mm (1 所 mm 过 1 ) 已 证 : 
Ui;i= EjU;, 1]=1,2,*",m, (2.24) | 


其 中 61 =1，sj;=1 或 - 1。 下面 我 们 来 证 存在 em, ,为 -1 或 1 使 
得 


从 (2.22) 可 得 ~ 
AU=UH, AV=VG. 
分 别 比 较 上 面 两 个 矩阵 等 式 的 第 光 列 ， 可 得 | 
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Atm = Aimy tee thantin thn, 1smilma yy | (2,25) 

AU m= Gimli tet? + GmnUm + Gme LomY m+ j’ (2.26) 
分 别 在 (2.25) A (2.26) MAER ut A eT =1,2,08,m) 可 
得 


him =UTAUm, . (2.27) 
t=1,2,* Mt, 
Jim =V AVms = (2.28) 
H (2.24),(2.27) 和 (2.28) 可 得 
him = E;EmJinms 1=1,2,°%,m, (2.29) 


将 (2.29) HA (2.25) ， 并 利用 (2.24) MM (2.26) ， 可 得 


Ans mim, 1 = EmCAUm — E2 Gi mY — 98° — ELInmUn) 

= EmCAU mn = Ginl 1 -Z eee — Gam’ m) 

| =EmIn+ iim ms re (2.30) 
AY (2.30) 即 知 


(hms om | = Ims imlo 
而 hns0， 故 (2.30) 蕴含 着 


Ums 1 = ems] U ma 19 


其 中 em.1=1 或 -1. 

因此 ， 利 用 归纳 法 原理 即 知 (2.23〉 成 立 ， 

一 个 上 Hessenberg Sif H =[h;;]， 如 果 其 次 对 角 元 素 均 不 
WE, MA, 250, i= 1,2，…- 1， 则 称 它 是 不 可 约 的 。 定 理 
2.2 表 明 ， 如果 OTAQ=H 为 不 可 约 的 上 Hessenberg HIKE, WiO 
和 万 完全 由 @ 的 第 一 列 确定 〈 这 里 是 在 相差 一 个 正 负 号 的 意义 下 
的 唯一 ) ， | 


2.4 双重 步 位移 的 QR 迭代 


下 面 我 们 来 考虑 如 何 加快 QR 适 代 的 收敛 速度 。 假 定 4 的 特 
征 值 是 | Ar| eee f An lo lAn. AUR FE zE k Ae A pe AH 
分 析 表 明 ， 随 着 QR 选 代 的 进行 ，A; MOA ERR ATEK 
248 


收敛 到 特征 值 1,， 收 敛 速度 是 线性 的 ， 速 率 是 | |。 由 此 可 


见 ， 如 果 对 某 一 常数 4， 将 4 的 特征 值 重新 编号 ， 使 其 满足 
|A u] >>] An- 一 人 > 一 0A， 
而 且 比 值 |4w 一 /14n-1 一 上 4| 很 小 ， 则 用 A- eI 代替 A 进行 QR 这 
代 可 望 其 收敛 速 度 更 快 。 因 此 ， 这 就 促使 我 们 考虑 如 下 的 迭代 : 
H, = QF AQo (上 Hessenberg 分 解 )， | 
H,-vul=0,R, CQR 分 解 )， (2.31) 
A,.,=R,0,+HI, K=1,2,°, 
EAKA (2.31) 为 带 位 移 的 QR KAR, Hp u 称 作 位 移 。 
易 见 ， 这 一 和 迭代 产生 的 H, 与 4 仍 是 正 交 相似 的 。 
不 失 一 般 性 ， 我 们 可 以 假定 在 迭代 (2.31) 中 出 现 的 上 He- 
ssenberg 矩阵 都 是 不 可 约 的 。 因 若 不 然 ， 在 选 代 的 某 一 步 ， 已 有 
HH 0 
0 nes 
则 我 们 可 以 分 别 对 AG? A AS? 进行 QR ERETT. 
现在 我 们 来 考 虚 如 何 有 效 地 选取 4。 当然 ， 大 家 从 前 面 的 分 
析 已 经 明白 ，4 选取 的 与 4 的 某 个 特征 值 越 靠近 越 好 。 可 是 ， 问 
题 是 ， 在 我 们 对 A 的 特征 值 的 信息 知道 其 少 的 前 提 下 ， 如 何 选 取 
L 才能 使 其 与 4 的 某 企 特征 值 较为 靠近 呢 ? 
理论 分 析 和 实际 计算 的 经 验 表 明 ，QR 和 迭代 产生 的 E 阵 序列 
右 下 角 最 先 显 露 4 的 特征 值 。 因 此 ， 我 们 可 以 FA 用 QR Tw 
一 特点 来 选取 位 移 4%。 如果 显露 的 是 A KEE, BN AVS ZEA 
的 较 好 的 近似 特征 值 时 ， 当 然 ， 此 时 就 可 简单 地 选取 = 有 号 作为 
第 上 +1I 次 和 迭代 的 位 移 。 然 而 ， 如 果 显 露 的 是 4 的 复 共 斩 特征 值 
时 ， 即 


m-l 


nee AR 


Gr= [ht wel? m=n~] (2.32) 
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的 特征 值 是 一 对 互相 不 忽 的 复数 e 和 1，， 且 与 4 的 特 征 值 比较 
BOER, SiR Gi 的 某 一 特征 值 4; 作为 位 移 。 但 这 样 一 来 
BA tiem 而 这 是 我 们 所 不 希望 的 。 为 了 避免 复 运 算 的 出 
， 人 们 想到 用 心 和 ks 连续 作 两 次 位 移 ， 即 进行 

H-#I =U, 

Hi= RU, + bil; 

Hı — Hel = U2Ra, 

H, = Root Hels 
REREH = Hy. Ea RAE BE fr — Ee E 
算 ， 可 得 


M=QR, (2.33) 
H,=Q"*HQ, (2.34) 
其 中 i 
M =(H~- ICH -441), (2.35) 
O=UiUs, R=R,Ri. (2.36) 
H1C2. 35) Ay #2 
M=H?-sH +H, (2.37) 


其 中 
S= H, +H, = himn +h eR, 
t= H H =det(GDER. 

KHEM E— ARER. m en Ek R ER RAI RAA A 
元 素 均 为 实数 ， 则 由 (2.337 可 推 知 ，@ 亦 是 实 的 ; 从 而 由 (2.34) 
AIH IRSA. A, FEY AIR AOL, Fe Pex 
Li fe PGR 1 BE FT QR EPEAT ME RHE Hessenberg 矩阵 ， 
但 是 ， 在 实际 计算 时 ， 由 于 伟人 误差 的 影响 ， 如 此 计算 得 到 的 五。 
一 般 并 不 一 定 是 实 的 ， 

因此 ， 为 了 确保 计算 得 到 的 H 仍 ASRS, HRC 2.33) 
(2.34)， 我 们 自然 想到 按 如 下 的 步骤 来 计算 He: 

Cl) 计算 M=H?-sH +8; 
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(2) 计算 M 的 QR 分 解 ，M = QR; 
(3) 计算 H:=QTHQ. 
然而 ， 如 此 计算 的 第 一 步 形成 M 就 需 运 算 量 为 OCn?)， 这 使 
我 们 前 面 为 减少 每 次 选 代 所 需 运 算 量 而 所 做 的 努力 全 部 付 之 东 
流 ， . 
幸运 的 是 ， 定 理 2.2 告诉 我 们 ， 不 论 采用 什么 样 的 方法 去 求 
iE 38 RE OE OT HO = A, 是 上 Hessenberg 矩阵 ， 只 要 保证 6 的 第 
一 列 与 @ 的 第 一 列 一 样 ， 则 玄 。 就 与 万 ;本质 上 是 一 样 的 (所 有 元 素 
的 绝对 值 相 等 )。 因 此 ， 我 们 可 有 很 大 的 自由 度 去 寻求 更 有 效 的 
方法 来 实现 由 万 到 H, 的 变换 。 
首先 ， 我 们 从 (2.33) 知 ，@Q 的 第 一 列 与 M 的 第 -- 列 共 线 ， 即 
Qe, A Me, 单位 化 得 到 。 而 由 (3.37) 容 易 算 出 
Mei= (tt tas0, ,0)T, 
其 中 
Ži = (hE? + kR hJ _ sh) + t, 
#2 = AFCA AAR- 8), 过 = AYA), 
其 次 ， 如 果 Householder 变换 P, 将 Me, WH ae, (Hl PuCMei) 
= a61)， 其 中 a€ R, MBA, Po 的 第 一 列 就 与 Mei 共 线 ， 从 而 
Poei= Qes mHE BEE Householder 变换 的 理论 知 ， Po 可 以 
按 如 下 方式 确定 ， 
Py = diag(Py,/n-3), 


其 中 
Pi =I- pvr, B=2/vtv, 
v= (5, —asign(&,),8,,85)7, 
a= RAE ele, 
现 令 


B= PoH Pos 
则 我 们 只 要 能 够 找到 第 一 列 为 ei AE 26 RE OLE TBO =A AE 
Hessenberg ERE, MA ARER ZAH. BARNE 
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的 约 化 一 个 矩阵 为 上 Hessenberg 形 的 Householder 方法 可 知 ， 这 
是 容易 办 到 的 。 这 只 需 确 定 2 ~ 1 个 Householder WHP, Pais 
使 . 
(Pai PBC Pa) = 

Ay L Hessenberg RE, 即 有 0 = PyePa- 的 第 一 列 为 el， 而 且 由 
于 8 所 具有 的 特殊 性 ， 实 现 这 一 约 化 过 程 所 需 的 运算 量 仅 为 
O(n’), . 

gb, FP AP ote HIE te BRET NAME AT 
三 列 ， 改 妃 具 有 如 下 形状 


TX x x x x5 
x x X x «| 
(PD x x x x 
B= PoHP,= 
0 0 3O Km x x 9 
| 0 T. 8 2 
x XxX- 


仅 比 上 Hessenberg 形 多 三 个 可 能 的 非 零 元 “中 ”。 由 8 的 这 种 特殊 
”性 ， 易 知 用 来 约 化 8B 为 上 Hessenberg 形 的 第 一 个 Householder 变 换 
Pl 具有 如 下 形状 

57 Pi= diag(1,P,,In 4), 
其 中 六 为 3 阶 Householder 变换 ， 而 且 P1BPi 具有 如 下 形状 


TX x x XxX” x XX 
[X x x x x 
(0 x x x x x 
P BP,- 0 ® x xm x xh 
10 OG x x x 
0 : 
x x= 


如 此 递 推 地 进行 ， 不 难 推出 ， Hs k TEI Bt AAR Householder 
变换 Pi 具有 如 下 形状 
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Py, = diag(7r Ia-k-y)， 
其 中 Pe 为 3 By Householder 变换 ， 大 = 2 一 3， 而 H. Pa-s* 
PiBPi'wP,.s 具有 如 下 形状 


Pa- P BP Pa- = 
0 X X x 
Dx x 
因此 ， 最 后 一 次 约 化 所 用 的 Householder 变换 Pn- ,具有 如 下 形状 
Pn-2= diag(l,-2, Pn-2), 
其 中 ,为 2 有 阶 Householder 变换 。 
这 样 我 们 就 找到 了 一 种 实现 由 五 到 万 的 变换 方法 ， 它 既 避 免 
了 复 运 算 的 出 现 ， 又 减少 了 运算 量 。 当 然 ， 这 一 变换 过 程 对 Gx 的 
两 个 特征 值 均 为 实数 的 情形 亦 是 可 行 的 。 因 此 ， 我 们 就 不 必 在 选 
取 位 移 时 区 别 显 露 的 是 实 特征 值 还 是 复 共 罗 特 征 值 的 情形 ， 而 只 
需 取 作 Gr 的 两 个 特征 值 即 可 。 
综述 上 面 的 讨论 ， 就 得 到 了 著名 的 】 Francis 双重 步 位 移 的 QR 
RAE: 


算法 2.2 
C1) 输入 不 可 约 上 Hessenberg REH = Ch, JER” xm 
(2) m=n-J1, k:=0, Sham than; 
ti=hamltan — hinnk ams xh? , + hazhar = Shii +t, 
yh, Chin + hz- 8), Zh, hap; 


(3) an k=n-2, M5); 否则 ， 确定 Householder 5G 
阵 P ER?*’, 使 


=P, HP, Py = diag(I pg, Py Ta-k-s)j 
(4) MHhyeaseers 3 一 sk+1s 
gafi eea M4 kcn- 3 肝 ， 
0, žHk=n-3kt, 
k:=k +1, HF 3); 
(5) 确定 Householder fp P, ER? fi 


x x 
Panal, -| 
H=Py-2HPy-26Pa-2 = diag(In_2,Pn—2))s 

(6) AREER. 

这 一 算法 的 运算 量 是 6n?; 如 果 需 要 把 正 交 变换 累积 起 来 ， 
还 需 再 增加 运算 量 6n’. 

2.5 双重 步 位 移 的 QR 算法 

前 面 的 讨论 已 解决 了 用 QR 方法 求 一 个 给 定 的 实 和 矩阵 的 实 
Schur 分 解 的 几 个 关键 的 问题 。 然 而 ， 作 为 一 种 实用 的 算法 ， 还 


需 给 出 一 种 有 效 的 判定 准则 ， 来 判定 选 代 过 程 中 所 产生 的 上 Hes- 
senberg 矩阵 的 次 对 角 元 素 何 时 可 以 忽略 不 计 ， 一 种 简单 而 且 适 


”用 的 准则 是 ， 当 


hisia lhl thiera DE (2.38) 
时， 就 将 ,看 作 是 0 。 这 样 做 的 理由 是 ， 在 前 面 约 化 A 为 上 
Hessenberg 46R@ HRES NET ERALA re 的 误差 。 

将 算法 2.1 和 2.2 与 收敛 准则 (2.38) 结 合 起 来 ， 就 得 到 了 现在 
流行 的 双重 步 位 移 的 QR 算 法 ， 这 一 算法 是 计算 一 给 定 的 n 阶 实 
nB A 的 实 Schur SA: OTAQ=T, FEA Q AiIEREM, THM 

上 三 角 和 矩阵 ( 即 对 角 块 为 1 x 1 或 2x 2 方 阵 的 块 上 三 角 和 矩阵 ) 。 


算法 2.5(CQR 算 法 ) 


CL) HAA. 
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(2) 上 Hessenberg 化 ， 用 算法 2.1 计 算 4 的 上 吾 essenberg 分 
M H =UTAUGs O:=Uo. 
(3) 收敛 性 判定 
CG) 把 所 有 满足 条 件 
lki- Skl 二 | 有 ii-il)E 
的 h,,; -1 置 零 ; 
Ci) 确定 最 大 的 非 负 整数 和 最 小 的 非 负 整 数 1 ， 使 


Ay Hiz His Į 
| 0 Hog Hz; ee 
0 0 FH 33 `m 
i n-l-m m 
其 中 可 5s 为 拟 上 三 角形 ， 而 He 为 不 可 约 的 上 Hessenberg 形 ; 
Gli) ge m=n， 则 输出 有 关 人 信息, 结束 ， 否则 进行 下 一 步 ， 
《4) MHAMBQRER: MH» MRTE. 2RR-K He 
PTHP, FUP = PoP Pa-m-1-26 
Q:=Q diag(rry P, Im)» 
Hia:=HisP, Has:=PY Hys. 
(5) 转 步 (3) 。 


实际 计算 的 统计 表明 ， 这 一 算法 每 分 离 出 一 个 工 阶 或 2 阶 子 
矩阵， 平均 约 需 2 次 Francis k 代 。 因 此 ， 平 均 来 讲 ， 如 果 只 订 
算 特 征 值 ， 则 这 一 算法 的 运算 量 大 约 是 8n，， WM OMT MRE, 
则 为 15nz 。 

误差 分 析 的 结果 表明 ， 这 一 算法 计算 所 得 到 的 实 Schur 标准 
JET 正 交 相似 于 一 个 非常 靠近 4 的 和 扼 阵 ， 即 

OTCA+E)0=T, 
FHEPOTO=F, JELe~lAleées 计算 所 得 到 的 8 是 几乎 正 交 的 ， 即 
QO'QO=I+F;, JF] =E, 
其 中 e 为 机 器 精度 ， 详 见 文献 [37J， 
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$3 特征 向 量 和 不 变 子 空间 的 计算 


这 一 节 ， 我 们 米 讨 论 在 用 QR 方法 求 得 给 定 的 矩阵 的 特征 值 
之 后 ， 如 何 求 其 对 应 的 特征 向 量 和 对 应 的 不 变 子 空间 的 一 组 标准 
正 交 基 。 


3.1 特征 向 量 的 计算 


设 4E R"**， 并 假定 已 经 利用 QR 方法 求 得 A 的 特征 值 4 的 一 
个 近似 值 7. 现在， 我 们 来 讨论 如 何 求 A 之 对 应 于 4 的 近似 特征 
问 量 。 

目前 ， 解 决 这 一 问题 最 好 方法 就 是 反 酸 法 ， 它 是 乘 圭 法 的 自 
然 推广 (即将 乘 宕 法 用 于 A-! 上 而 得 到 的 )， 常 用 的 是 带 位 移 的 反 


《4 一 ATDO 2 19 (3.1a) 


zp =04/ Welles E=0,1,25%, (3.1b) 
其 中 4 是 事先 选 定 的 常数 ， 称 作 位 移 ， = 是 事先 给 定 的 向 量 ， 称 


作 和 初始 向 量 。 

从 (3.1) 可 以 看 出 ， 每 送 代 一 次 就 需 解 一 个 线性 方程 组 ， 这 
要 比 乘 宕 法 运算 量 大 得 多 。 但 是 ， 由 于 方程 组 的 系数 矩阵 不 随 Ie 
的 变化 而 变化 ， 所 以 能 够 事先 对 它 进 行列 选 主 元 素 的 LU 分 解 ， 
然后 每 次 交代 就 只 需 解 两 个 三 角形 方程 组 即 可 。 

另外 需要 顺便 指出 的 是 ， 这 里 只 是 为 了 下 面 的 分 析 方便 ， 而 
在 (3.1b) 中 用 [1 进行 了 规范 化 ， 在 实际 使 用 时 是 以 1 .j 进行 
规范 化 的 。 | 

假定 4 是 非 亏损 的 ， 即 存在 XX= [x1,…,xn]E Cnx" 非 奇异 ， 
使 得 

XAX = A=diag(hi, ,hn), (3.2) 
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im ABR Ie, |= 1，1= 1.2.0.0. SUR RAIA] 量 zZ 按 x, 
Xa RF: 


zo = Xiti (3.3) 
再 假定 /与 4 的 特征 值 4; 最 靠近 ， 并 有 
o< je- hille- Ail ESF (3.48) 


则 从 (3， la),(3.2) 和 (3.3) 可 得 
v,=6,CA— HI) EZ 


=O, > BOA; — HA) Kx; 
i=l 


= O48 (Aj - BY ĀE; t+ Uk), (3.5) 
Ài -H B; 
Ux = DG) p” +>, k-oo, 
ixj 
其 收敛 速度 依 赖 FI4i- KI/min 24- 和 的 大 小 。 将 (3.5) 代 入 
(3.1b) 即 得 
_ Yk ens ee 
“eS Wile ey tele 
其 中 9x 为 满足 [x|= 1 的 复数 。 从 而 有 
dist #(2,),#(x;)) 


= |2,2%-x ji Fle 


-| 


一 0， k— co, 


Wre SR ET | A ~ HL /min| g- 4i | 的 大 小 。 换 句 话 说 ， 扣 是 
zx 将 按 方向 收敛 于 4 的 特征 向 量 ， 4 与 A; 越 靠近 ， 收 伍 速 度 就 越 
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(x; 十 1LKD)9 


—X Xx 
CX; + ux)* (x; + UR》 了 


(Xj 十 HE)CXT + UR)" sl 


th. 
由 此 可 见 ， 从 收敛 速度 的 角度 来 考虑 ， 用 (3.1) 进 行 选 代 时 ， 
wz 取得 越 靠 近 4 的 某 个 特征 值 越 好 。 但 是 ， 当 /与 4 的 特征 值 很 千 
近 时 ，A - 47 就 与 一 个 奇异 矩阵 很 徘 近 ， 每 迭代 一 步 就 需 解 一 个 
非常 病态 的 线性 方程 组 。 然 而 ， 实 际 计 算 的 经 验 和 理论 分 析 的 结 
RY. Au 的 病态 性 ， 并 不 影响 其 收敛 速度 ， 而 且 当 4 与 4 
的 某 个 特征 值 很 靠近 时 ， 常 常 只 需 达 代 一 次 就 可 得 到 相当 好 的 近 
似 特征 向 量 。 为 了 型 清 这 点 ， 我 们 作 下 面 的 简要 分 析 。 
首先 ， 我 们 来 确立 - -个 判定 一 个 向 量 v 是 否 可 作为 4 的 近似 
特征 向 量 的 判定 准则 。 设 1 是 4 的 一 个 特征 值 ，" 是 C" 中 的 一 个 
单位 向 量 (jl = 1)， 定 义 
r=(A-Al)v | (3.6) 
为 向 量 " 的 剩余 向 量 。 从 (3.6) 易 得 | 
| CA -—TuU*)v= av, | 
Bp v A- rot RY FAN BEER. AOR Ir lle 很 小 ， 则 rv*l 亦 
很 小 ， 从 而 如 果 4 之 对 应 于 4 的 特征 向 量 是 良 态 的 话 ， 当 | 很 
pit, v 就 是 4 之 对 应 于 4 的 一 个 很 好 的 近似 特征 向 量 。 因 此 ， 
我 们 可 用 v 的 剩余 向 量 的 大 小 来 恒 量 v 是 否 可 作为 对 应 于 A 的 近 
似 特征 向 量 ， | 
现在 ， 假 定 
Is-A|= min |- u|Ze, (3.7) 
AE ACAD | 
其 中 si 是 一 个 很 小 的 正 数 (通常 有 6 = 0(z))。 再 假定 对 给 定 的 初 
始 向 量 z" 是 用 列 主 元 素 的 Causs 消去 法 求解 方 程 组 (3.1a) 得 到 向 
量 v 的 计算 值 丈 的 。 则 由 Gauss 消去 法 的 误差 分 析 结果 知 


CA— HI + F)B,= Zos (3.8) 
其 中 lE Ze GEA 52= OC(E))。 这 样 ， 由 (3.1b) 计 算得 
. 21= 51/ filas (3.9) 


这 里 为 了 避免 符号 上 的 麻烦 ， 忽 略 了 计算 z; 所 引起 的 涡 差 ， 
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由 (3.8) 可 得 向 量 ,的 剩余 向 量 为 
r= (A-AlI)2, = (4-A)2, — EZ, + Zo/lPrlea 
Fe 
Wrjesce; +e, + [Oi ， (3.10) 
这 里 假定 jzol: = 1. 
由 此 可 见 ， 如 果 计 算得 到 的 去 有 很 大 的 范 数 ， 则 由 (3.1) 碗 
代 一 次 所 得 到 的 向 量 就 有 范 数 很 小 的 剩余 向 量 ， 从 而 在 特征 值 问 
题 不 是 十 分 病态 的 条 件 下 ， 就 得 到 了 很 好 的 近似 特征 向 量 ，。 
现在 来 说 明 在 条 件 (3.7) 成 立 的 前 提 下 确 有 5 的 范 数 很 大 ， 
设 A- MI +E 的 奇异 值 分 解 为 
A-uI+E=UEW*, (3.11) 
其 中 口 =[aan] Waw", Wn]E Zn, L= diag(o,,-, 
Orn) Tyee So, 0. 
FA - HALA -eI 的 特征 值 易 得 
OnCA- HID IAB] Sey, 
rho, CA 一 4 站 表示 A 一 上 的 最 小 奇异 值 ， 再 由 第 一 章 的 推论 6.6 


4 
得 


onon(A- 1) + HEE +e2, (3.12) 
将 zo FR bytan 展开 ， 有 - 
Z5 > aju; X lal? = [Inn le 
i=l jel 
从 而 有 
B,=(A-HI +E) Zo 
n n 
ji jor 
于 是 
和 1 jan}. | an | 
ij |= a | ma POR Ts, 
LAP (> | ) 三 ete" 
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ra 


这 样 一 来 ， 只 要 |2s | 不 是 很 小 ( 即 zo 在 us 方向 上 不 是 十 分 亏损 ) 的 
话 ， 则 jz 由: 就 很 大 。 因 此 ， 通 常 反 需 法 只 需 迭 代 一 次 就 足够 了 。 

这 里 还 需 指出 的 一 点 是 ， 在 4 比较 病态 时 ， 利 用 反 寡 法 再 进 
行 第 二 次 选 代 ， 一 般 不 会 得 到 更 好 的 近似 特征 向 量 。 这 是 由 于 5， 
的 单位 化 向 量 z 1 可 表示 为 


nm- 1 


2, = YnWn + DY 5M pp 
jal 


其 中 加 非常 接近 1, vjC7= 12.50 - 1 都 是 小 量 ， 第 二 次 选 代 
时 ， 将 z, ku ,un 展开 ， 其 系数 将 主要 由 YnWn 决定 ， 即 


Tt 
Z CYaWaln dun + > (Yn WRU; )U js; 
j=1 


而 此 时 c 很 小 ， 因 而 sw 和 zw 将 与 4 对 应 于 4 的 左右 特征 向 量 很 接 
近 ， 从 而 [uswn| 守 s(4) 将 很 小 ， 即 此 时 2 在 un 方向 上 的 投影 几乎 
等 于 零 。 因 此 ， 第 二 次 迭代 得 到 的 z, 就 不 会 有 范 数 很 小 的 剩余 向 
R. 现在 看 一 个 具体 的 例子 ， 


设 
1 I 
As Lom a 
它 有 特征 值 A = 0.99999 和 4。= 1.00001， 以 及 对 应 的 特征 向 量 
x1= (1, -10-5)7 和 x。= (1,10-3)7。 两 个 特征 值 的 条 件数 均 为 10s 
数量 级 。 取 4w= 1，z6= (0,1)7, 应 用 反 需 法 选 代 一 次 (在 十 位 十 进 
制 的 浮 点 数 系 下 进行 )， 则 z1= 1,07, IFA | Az — pzils= 107%, 
可 是 再 迭代 一 次 将 产生 z= 00,107, MWA] Az, -z= 1. 

上 述 分 析 表 明 ， 利 用 反 和 军法 求 特征 向 量 时 ， 位 移 量 4 取 作 较 
精确 的 近似 特征 值 最 好 。 此 时 ， 一 般 只 需 选 代 一 次 就 可 得 到 很 好 
的 近似 特征 向 量 。 因 此 ， 通 常 总 是 在 用 某 种 方法 求 得 4 的 近似 特 
征 值 之 后 ， 再 利用 反 客 法 求 对 应 的 特征 向 量 。 连 同 QR 方法 一 起 
来 使 用 反 寡 法 的 基本 步骤 如 下 : 
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(1) 计算 4A 的 Hessenberg 分解， LTA4L7o = H; 

(2) 使 用 双重 步 位 移 的 QR 方 法 求 出 五 的 特征 值 ， 而 不 累积 
变换 阵 ; 

(3) 对 每 个 计算 的 特征 值 和 4， 在 (3.1) 中 取 A= 态 ，4= AER 
BR, Ris, E He~Az; 

(4) 计算 x= Uoz( 则 x 就 是 对 应 于 4 的 近似 特征 向 量 )。 

5.1 在 上 述 方法 的 第 三 步 用 反 寡 法 挝 代 时 ,其 收敛 性 是 用 
向 量 r = A-uz 的 大 小 来 恒 量 的 ， 迭代 的 初始 向 量 ， 是 采用 随 
机 选取 的 方法 来 选取 的 ， 在 实际 计算 时 ， 有 专门 实现 随机 选取 的 
程序 。 | 


5.2 不 变 子 空间 的 计算 

设 AE R°*" HORE AL, tts An WEE Artes Ar O Are 
hn} = D, FIRE S= {Ae AJSKRFRIBE 封 A HS 
4E.G2， 则 必 有 4E 2)， 则 在 及 ?中 存在 唯一 的 ! 维 子 空间 多 使 得 
42C 多 ， 而 且 4 在 多 上 的 限制 41. 的 特征 值 正 好 是 Arse Ar, 
即 由 4，…,41 可 唯一 确定 4 的 一 个 上 维 不 变 子 空间 。 下 面 我 们 将 
主要 讨论 如 何 求 由 4，… 4 确定 的 不 变 子 空间 多 的 一 组 标准 正 交 
基 。 

大 家 知道 ， 如 果 已 知 4 的 实 Schur 分 解 为 


Tii me i 


0 了 22 
I R-II 


orao- | 


9 
-i 


MAT AS REEMA IERF EA Ar, MORAT L IRER REF Ais 
“A, 的 4 的 ! 维 不 变 子 空间 多 的 一 组 标准 正 交 基 . 遗 性 的 是 ， 
如 果 我 们 是 用 双重 步 位 移 的 QR 方法 来 实现 4 的 实 Schur 分 解 的 
话 ， 则 所 得 到 的 拟 上 三 角形 的 对 角 块 是 非常 任意 的 ， 并 不 能 按 我 
们 事先 需要 的 次 序 排列 ， 即 若 计 算得 到 的 Schur 分 解 是 
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和 A Ty Pi i 
A0=?=| | 9 
: 《 《 0 To. n-i 
L n-i 


WN THEA REN BACT = ZRA. (ARR TRE RI — 
TEZE OE #2 


HEMEL ABM, HAT = 罗 ， 则 问题 也 就 解决 了 。 这样 一 
来 ， 我 们 要 求 指 定 的 和 ,…,4: 所 对 应 的 4 的 不 变 子 空间 的 一 组 标 
准 正 交 基 的 问题 ， 就 归结 为 按 指定 次 序 来 重 排 一 个 拟 上 三 角 和 矩阵 
的 对 角 块 的 问题 . 

先 来 考虑 4 是 2x2 和 所 阵 的 情形 。 假 设 我 们 已 计算 出 正 交 和 邱 阵 
Ô 使 


0740=2=[ 7 M | Ayes 
希望 调换 A, 和 的 位 置 ， 即 确定 一 个 正 交 矩 阵 如 ， 使 得 
we A * 
erro = | i | 


容易 算出 外 对 应 于 4 的 特征 问 量 是 
X= (iay Aa A)", 
MA Tx = Ax, MARIE NIE @ WUE OTs 的 第 二 个 分 量 为 零 的 
Givens ff, Mij 
OTT Qe) = Al 

因此 ， 令 8 = 988， 则 
hg by, 
D a 


or40=| 


这 样 我 们 就 解决 了 ”= 2 时 交换 4 A A, 的 问题 。 | 
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述 技巧 有 计划 地 交换 相 邻 的 特征 值 ， 就 可 把 4(A) 的 任意 子 集 移 
到 荆 之 对 角 线 的 前 面 ， 从 而 求 得 所 需 的 不 变 子 空间 的 一 组 标准 正 
区 基 。 具 体 算法 如 下 . 

算法 3.1 


CL) 输入 上 三 角 和 矩阵 荆 = [ti jj, 正 交 和 矩阵 和 指定 的 特征 值 
子 集 L= {4 ,A1}。 


(2) kR {i noesta Z, MAAE 结束 ; 否则 ， 
k: 二 1， 进 行 下 一 步 ，。 i 
《3) Fe Zi tkn LZ, ME c = cosh s= sind, 使 
C SIT tenet x 
| ell, o 
T:=G,TGhs Q:=QGkr, (G =GC(k,k+1,89)); 
谷 则 ， 进 行 下 一 步 。 

(4) mR k<n-1, MW k=k+1, RHO); 否则 转 步 (2)。 

235.2 其 中 输入 的 TT 和 QQ 是 由 已 知 方 阵 A 应 用 双重 步 位 移 
的 QR 方法 计算 得 到 的 ， 即 

QTAQ=T. 

当 4 的 特征 值 并 非 都 是 实数 时 ,利用 QR 方法 求 得 的 实 Schur 
标准 形 之 对 角 块 就 必 含 有 2 x 2 的 块 ， 此 时 就 会 涉及 到 2x2 块 的 
交换 问题 。 具 体 地 讲 ， 假 定 

Ti Ti 
To ra] 
其 中 Ti 是 1 阶 或 2 阶 方 阵 ，Ts。 BAA - MRE SAE oF 
Fi, FACT ID OAT 2) =, 我们 需要 确定 一 个 正 交 年 阵 @， 
使 得 
Ti, Th 
a 


orro=| an 


满足 Th, 是 2 阶 方 阵 ， 且 ACP) = 4(Taz)。 这 可 用 前 面 类 似 的 技 
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巧 完 成 ， 不 过 要 稍微 复杂 一 些 ， 请 读者 作为 练习 自己 补 出 。 


$4 对 称 QR 方法 


对 称 QR 方法 就 是 求解 实 对 称 特征 值 问 题 的 QR 方法 ， 是 将 
QR 方 法 应 用 于 对 称 矩 阵 ， 并 充分 利用 其 对 称 性 而 得 到 的 ;: 是 目前 
求解 中 小 型 稠密 对 称 和 矩阵 的 特征 值 和 对 应 的 特征 向 量 的 最 有 效 方 . 
法 之 一 。 

设 4ESR”…"。 我 们 知道 ， 为 了 减少 每 次 QR BRA HIS 
算 量 ,QR 方法 的 第 一 步 就 是 将 给 定 的 矩阵 4A 约 化 为 上 Hessenberg 
FB, BiR EXER Uo。， 使 得 | 

UTAU =T - A.D | 
为 上 Hessenberg 和 矩阵。 而 当 4 对称 时 ， 了 亦 是 对 称 的 ， 从 而 了 是 
对 称 三 对 角 和 矩阵 。 因 此 ， 对 实 对 称 矩 阵 而 言 ， 我 们 首先 应 该 将 给 
定 的 矩阵 A 三 对 角 化 。 而 且 ， 在 约 化 过 程 中 再 充分 利用 对 称 性 ， 
还 可 使 约 化 的 运算 量 大 为 减少 ， 
将 4 作 如 下 分 块 


. a vT 1 
A= | vo Ag ly 
1 n-i 
从 约 化 一 个 矩阵 为 上 Hessenberg 和 矩阵 的 Householder 方法 不 难 推 
出 ， 利 用 Householder 变换 将 4 约 化 为 对 称 三 对 角 阵 的 第 天 步 
为 : | 
. (i) 计算 Householder 变换 A E Re mx 2， 使 得 
H ktk- = pkel， BeERs 
Gi) 计算 


这 里 k= 1,2,,n-l, 
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如 果 用 上 述 约 化 过 程 产 生 的 ox ,Bx MA, 定义 
xl Pı 0 
fı a, h Ik 0 
Bn-i m| 0 A, |， 
0 Bn-1 Un 
Q= HiH:*"* Hn-1), 
则 有 
| | | QTAQ =T. : 
从 上 述 约 化 过 程 容 易 看 出 ， 第 无 步 约 化 的 主要 工作 量 是 计算 
HiAn-ibk. 设 | 
A,,=I- pout, veER-*, 
则 利用 Ak-1 的 对 称 性 ， 易 得 
H,Ay-1 1, = Ap-1 vw- wy, (4.2) 
其 中 


w=u— BTu)y, u= BA, iD。 (4.3) 


利用 (4.2) 和 (4.3) ,并 注意 到 对 称 性 ， 容 易 设 计 出 运算 量 为 
2n-kY WHBA, AA, DRE. A RETAIL BASH 
量 为 2n3/3， 而 非 对 称 时 把 一 个 n 阶 方 阵 约 化 为 上 Hessenberg fe ` 
所 需 的 运算 量 为 5n3/3， 

上 述 三 对 角 化 过 程 的 详情 细节 ， 请 读者 作 练 习 上 自己 补 出 ， 并 
在 此 基础 上 总 结 出 一 个 实用 的 算法 。 

在 完成 了 把 4 约 化 为 对 称 三 对 角 和 矩阵 下 的 任务 之 后 ， 我 们 要 
做 的 第 二 件 事 就 是 选取 适当 的 位 移 进 行 QR 迭代 。 由 于 此 时 4 的 
特征 值 全 是 实数 ,因而 再 使 用 双重 步 位 移 是 完全 没有 必要 的 ,只 需 
进行 单 步 位 移 即 可 。 

设 个 是 对 称 三 对 角 年 阵 。 我 们 来 考虑 单 步 位 移 的 QR BK: 

{ Tr- PE =QkRe> 


k=0,1,2,°* (4.4) 
Trea = RkQk tel, mee? 
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Hp TST, Qr HIER, Re ELIM. ROR RIE 
保持 上 Hessenberg 形 和 对 称 性 不 变 的 特点 ， 我 们 立即 知 道 迭代 
(4.4) 产 生 的 Th 都 是 对 称 三 对 角 和 矩阵 。 此 外 ， 容易 算 出 每 次 迭代 
只 需 O(n) 次 运算 即 可 完成 ， 这 比 非 对 称 的 情形 降低 了 一 个 数量 
级 。 

与 非 对 称 的 QR 迭代 一 样 ， 这 里 我 们 亦 可 假定 迭代 所 用 的 
Hi 均 是 不 可 约 的 ， 即 


atk? BY ; 0 
， BP 
Hr 一 
Brey 
0 
Be. a 


满足 BPP XO, 1=1,2,°,n-1. 

现在 再 来 看 位 移 A 应 该 如 何 选取 。 从 非 对 称 QR 方法 的 讨论 
中 ,我 们 知道 一 种 简单 易 行 的 取 法 是 取 = of (通常 称 作 Rayleigh 
商 位 移 )， 但 是 ， 另 一 一 种 更 好 的 选 法 就 是 取 oA 


alk) | BYP 
| BE aye | 
靠近 on? 的 特征 值 ， 即 取 
waa 4§—signg- VE +R, Y, (4.5) 
其 中 s= La, -ak))。 这 就 是 著名 的 Wilikinson 位 移 。 Wi- 


Winsoa CE ILSCHLCTLT) AP HEB EOE AHI BF AG EH KKA 
的 ， 并 说 明了 为 什么 后 者 较 前 者 更 好 一 些 . 
下 面 再 来 考虑 如 何 具体 实现 一 步 带 位 移 的 对 称 QR ER: 
{ T-HI=OR, 


。 (4.6) 
T=RO+#I, 


其 中 @ 为 正 交 和 矩阵 ，R 为 上 三 角 和 矩阵 ， 
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Bi 2 0 
T= f2 Ef ve ， B, 250. 
i Qn-1 Ên-1 
0 Bn-1 On 


当然 ,我 们 可 以 利用 Givens WHEKE T -eI 的 QR 分 解 ， 
进而 完成 一 步 选 代 。 但是， 更 漂亮 的 方法 是 利用 定理 2.2 以 隐 含 
的 方式 来 实现 由 下 到 请 的 变换 。 

大 家 知道 ， 选 代 (4.6) 的 实质 是 将 下 用 正 交 相似 变换 变 为 f, 
即 企 = QTTO。 因 而 从 定理 2,2 知道 和 本质 上 由 Q@ 的 第 一 列 完全 
确定 ,从 利用 Givens 变换 实现 工 ~ wl H QR 分 解 过 程 易 知 Qel = 
Gie FE Gi 是 将 了 -上 的 第 一 列 之 第 二 个 元 素 变 为 零 的 
Givens 变换 ， 即 
G,=G(1,2,9), 


其 中 0 iA 
cosh sinf qr a-p 来 
| =- sinf cos fal Bi j=[ oj 
令 
B=GĪTG;, 
RB (Pån, n=5) 有 如 下 形状 
x x QB 0 0 
x x x 0 0 
B=| È x x x Of, 
0 0 x x X 
0 0 0 x X 


仅 比 三 对 角 秆 阵 多 两 个 非 零 元 “四”, 由 此 即 知 ， 只 需 用 Givens 
变换 将 8 约 化 为 三 对 角 和 矩阵 即 可 得 到 所 需 的 三 对 角 和 矩阵 个 。 下面 
就 4=5 的 情形 ， 来 说 明 这 一 约 化 过 程 。 
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首先 用 (2,3) 坐标 平面 上 的 Givens 变换 G, 将 互 之 (1,37 和 
(3,1) 位 置 上 的 元 素 消 为 0， 这 样 在 (2,4) 和 (4,2) 位 置 上 又 会 出 
现 两 个 我 们 不 希望 有 的 非 零 元 接着 再 用 〈3,4) 平 面 上 的 Givens 
变换 Cs 将 (2,4) 和 (4,2) 位 置 上 的 元 素 消 为 零 ， 又 在 (3,5) 
和 (5,3) 位 置 上 出 现 两 个 非 零 元， 最 后 利用 (4,5) 平面 上 的 
Givens BR Gi 将 (3,5) 和 (5,3) 位 置 上 的 元 素 消 为 零 ， 而 得 
到 所 需 的 三 对 角 和 矩阵 。 这 一 过 程 可 用 图 示 方 式 形象 地 表述 如 下 : 


从 图 示 可 以 看 出 ， 整 个 约 化 过 程 就 是 把 三 对 角 线 之 外 不 受 欢 
MAIRE D” R WE” BERZI. AE, RATAR 
ZEFA RA”. 

SFR, RNE 以 通过 7n-2 次 Givens Æ H Gre, 
Gn-1 使 
GI. 1 GI(GTTG)Go"'Gr- 1 
=A, H CGye'Gr- 161 = Ce = Qe 

综 上 所 述 ,可 得 带 Wilkinson 位 移 的 对 称 QR BRB EMP: - 

算法 4.1 | 

(1) 输入 下 的 对 角 元 素 01,00 On 和 次 对 角 元 素 Pi1,*… ,Pn-1， 
k:=1, 

(2) =R- - an)/2, 
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psa, — B2_, /CO + signd « V5? +p) 
Xia, — H, 
y=f.. 

(3) 计算 ce=eosg9，s=sing fpo 使 


pase hese 


ak Bk | | ¢ >s ak Br es] 
Bk Oksi [os C Pr ean -s c |’ 
Bre =p k le 


(4) mRA>1, Wf, =o: 否则 进行 下 一 步 。 
(5) we k<n-1, Ml 
MS Bey Y=- Sprain Ki K+1, 
FEA (3)s 否则 迁 代 结束 ， 


这 一 算法 运算 量 为 :乘除 运算 202, 开 方 2- 工 次 5 如果 对 给 定 
HEXER O ,还 需 计算 OG Ga 1, 则 还 需 再 增加 运算 量 dn’, 

至 此 ， 我 们 已 经 解决 了 对 称 QR 方法 的 几 个 关键 问题 ， 可 以 
总 结 为 如 下 算法 : 

算法 4.2 对称 QR 算法 ) 

(1) 输入 AE SR"*" MRAR e. 

(2) 三 对 角 化 A: 

计算 Householder 变换 Hı, e, Hn- E 

(Hie Ha-2)ACHi Ha-a) 


a, By 
Bi %2 0 
一 Ba 。 
am-_i 1n-i 
0 Bn-1 on 


(3) 收敛 性 检验 : 
Gi) 将 所 有 满足 
[6,(<eCla,| + fa; a D 
的 Pi; BE; 
Gi) 如果 B; =0, 1=1,2,,n-1, WRN AKI AER, 
否则 po=0， 确 定 正 整数 <q, (HA, 
Bp-1=0, Bi<0, 1=p,Pp+1,*,g,; 
Pasi =o =Bn-1 E0 


(4) OR BK: 
Se PR = FB BBE 
Ap Bp 0 
T= Pp tpsa 
. ba 
0 Pa aq 


应 用 算法 4.1, RRO). 


这 一 算法 是 数值 代数 中 最 漂亮 的 算法 。 误 差分 析 的 结果 表 
明 ， 由 算法 4.2 计算 所 得 到 的 特征 值 和 ,… An 满足 
OTCA +E)Q= diag(A,,+ Ân), 
Ah OTO=T, 1Blasj14js。 从 而 由 第 一 章 的 Weyl1 定 理 知 ， 
[4, —A,|~]Alee, 1=1,2,e,n, 
其 中 4; 是 4 的 精确 特征 值 ， 且 与 4; 排列 次 序 一 致 。 这 也 就 是 
说 ， 对 称 QR 算法 计算 得 到 的 特征 值 是 相当 精确 的 ， 相 对 误差 不 
超过 机 器 精度 。 但 值得 注意 的 是 ， 特 征 向 量 的 计算 值 并 不 一 定 亦 
有 这 样 的 精度 ， 它 与 4; 和 其 他 特征 值 的 分 离 程度 有 关 。 


$5 奇异 值 分 解 的 计算 


设 4E R™"*(m 宇 n)， 从 奇异 值 分 解 定理 的 证 明 过 程 可 知 ， 
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4 的 奇异 值 分 解 可 从 实 对 称 和 矩阵 
C= ATA 

的 Schur 分 解 导出 。 因 此 ， 我 们 自然 想到 先 利 用 对 称 QR 方法 来 
实现 C 的 Schur 分 解 ， 然 后 借助 C 的 Schur 分 解 来 实现 4 的 奇异 
值 分 解 。 然 而 ， 这 样 做 有 两 个 缺点 ， 一 是 计算 ATA 的 运 算 量 较 
ks 二 是 计算 ATA 容易 引入 较 大 的 误差 ,有 时 甚至 使 计算 所 得 到 
io ar PA mse dE. EOIN FE MY fe] BI, Golub 和 Kahan 于 1965 
年 提出 了 一 种 十 分 稳定 而 有 效 的 计算 奇异 值 分 解 的 方法 。 他 们 的 
基本 思想 就 是 隐 含 地 应 用 对 称 QR 方法 于 AAT 上 ， 而 并 不 需 明 
确 地 将 ATA 计算 出 来 ， 从 而 避免 了 上 述 两 个 问题 的 出 现 ， 

要 应 用 对 称 QR 方法 于 ATA 上 ， 第 一 步 就 需 将 其 三 对 Ate. 
这 一 步 为 了 避免 ATA 的 计算 ， 可 先 将 4 二 对 角 化 ， 即 求 正 交 E 
RE UFA Vi, {E 


| Bl a > 
UTAV: = | 0 | (5.1) 
其 中 l 
ða Yo 0 
: 55 Y3 | 
B= note F (5,2) 
Ya 
0 Sy 


事实 上 ， 一 旦 分 解 〈5.1) 已 经 实现 ， 则 有 
VTATAV, = BTB 
是 三 对 角 和 矩阵 ， 即 相当 于 已 将 ATA 三 对 角 化 。 
分 解 式 (5.1) 可 用 Householder 变换 实现 。 将 4 分 块 为 


A=i"y, At te 
1 n-i 


BH, Ait mip Householder 变换 P, 使 得 

Py, =6)e, (6,5 R, E R”), 

FE IE We : 
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= PAls 


再 计算 n-] 阶 Householder BH H, 使 得 
Alu =e, WER, ea ER), 
并 形成 
[vs ,As J= åf.. 


然后 ， 对 = 2,3, n — 2 依次 进行 
(a) 计算 各 -天 +1 Yr Householder 变换 P, 使 得 
Pyete =5kel CEKER, ECR™ **'), 
并 形成 


= Pk Aks 


(b) t+ n-k [fy Householder 变换 万 ,使 得 
Ayu = Yk Op ER, a ERE), 

并 形成 

[Vk Aksi] = Akk. 
1 n-k-1 
VET RB kK=n-2V05, BiB m-n +2 Ye Householder 变换 

Pa- 使 得 

Prone. = in-s, 


并 形成 
i = 


1 
然后 再 计算 m-n +1 阶 Householder 变换 P, 使 得 
Putn=Onere 
现 令 
Pp =diag(?,_1,P,), K=2,-,n, 
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Hp = diag gk Ak), k=1,2,:%,n-2, 
Ui= PiP2* Pn, Vis HiH Hn.s, 


6, Ya 4 
62 E 

B= i ， 

0 Vn 
Bn + 

则 有 

UTAV, = 4 " ; 

0 |m-nr 


即 实现 了 分 解 〈5.1)， 
这 里 我 们 略 去 算法 的 详细 叙述 ， 请 读者 作为 练习 将 上 述 约 化 
过 程 总 结 为 一 个 实用 的 二 对 角 化 算法 。 
将 4 二 对 角 化 ( 即 相当 于 将 ATA 三 对 角 化 ) 之 后 ,下 一 步 的 任 
务 就 是 对 三 对 角 阵 
T= BTB 
进行 带 Wilkinson 位 移 的 对 称 QR A. MRR, SAR 们 亦 希 


” 望 不 明确 地 将 T 计算 出 来 就 可 进行 。 


大 家 知道 ， 应 用 对 称 QR ART T= BB 上 的 第 一 步 是 选取 
位 移 上 4 ， 即 取 垂 阵 了 之 右 下 角 2x2 主子 阵 
Z 1 +Y 1 0 1 
bn-i¥n Ont va | 


靠近 va + On RPL Eu. XBR BAH T = 
8'B 计算 好 就 可 进行 。 | 

迭代 的 第 二 步 ， 就 是 确定 Givens 变换 G,=G(1,2,0), rh 
= c = cos 和 s=sinb 满足 


Lo Aal] 
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这 里 52 -4 和 5 是 了 -AL 的 第 一 列 位 于 a’ D A 01,2) 位 置 
的 仅 有 的 两 个 非 零 元 。 这 一 步 亦 不 需 事先 将 人 明确 求 出 。 

夺 伐 的 第 三 步 就 是 确定 正 交 年 阵 C 使 97CGTTGDO 是 对 称 三 
对 角 阵 ， 且 Qe = e， 这 一 步 ， 为 了 避免 了 = BB 的 计算 ， 只 需 
He TE 28 SRE P FOIE PTCBG OQO 是 二 对 角 阵 ， 且 Ge, =e BN ATC 4 
然 ， 这 需要 人 不 可 约 的 条 件 ) 。 这 是 容易 办 到 的 。 可 用 类 似 于 将 
ci7CG 三 对 角 化 的 “驱逐 出 境 ” 革 来 处 理 。 为 了 叙述 简单 起 见 ， 
下 面 就 n= 3 的 情形 ， 说 明 如 何 将 3G, 二 对 角 化 。 易 知 此 时 BG1 具 
有 如 下 形状 


即 只 有 (C2, 站 位 置 上 出 现 了 一 个 我 们 不 希望 有 的 非 零 元 素 。 干 是 ， 
我 们 可 以 左 乘 一 个 (1,2) 坐标 平面 的 Givens 变换 六 消去 这 一 非 
零 元 素 ， 但 这 样 做 又 会 在 (1,3) 位 置 上 出 -一 个 非 零 元 素 ， 因 此 ， 
我 们 又 需 右 乘 一 个 (2,3) 坐标 平面 的 Givens 变换 Gs 将 (1,3) 
位 置 上 的 非 零 元 素 化 为 零 ， 这 又 会 在 〈3,2) 位 置 上 出 现 一 个 非 堆 
元 素 ， 再 左 乘 一 个 〈2;3) 坐标 平面 的 Givens 变换 J 将 这 一 非 零 
元 素 化 为 零 。 这 样 我 们 就 完成 了 n=3 时 的 5G 的 二 对 角 化 任务 。 
用 图 示 的 方式 可 将 .上 述 约 化 过 程 形象 地 表述 如 下 : 


对 于 一 般 的 n ， 用 完全 类 似 的 方法 可 确定 2n 一 3 个 Givens 变 
换 Ji Gas J2sGastt Gn- Jnn tf BO ANAS RIG OTH DR 
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逐 出 境 ， 即 使 
| Tn_yfn_a* I CBG Go Gn-1 
十 二 对 角 阵 ， 而 且 这 样 得 到 的 和,… ,Cn_i 满 中 
(GyeeG, to 
这 样 ， 我 们 就 得 到 了 计算 奇异 值 分 解 的 最 基本 的 交代 算法 。 
算法 5.1 
(1) 输入 二 对 角 和 矩阵 B 的 对 角 元 素 61,… ,6 和 次 对 角 元 素 
Vos*** Yna 
(2) d:=[ (a1 + Vn) — (Yn t+ On) 1/2, 


Cyn + On) — Conia? 
d+sign(d} Vd? + 62 47 


pe 


> ? 
也 


x=] H, Y= V k=l, 
Q:=I, P:=J。 
(3) 计算 c = cos9， s = sinf 和 0o 使 


“ -r 
o =[9)0]， 


p Pees. |x ee lf e | | 
y Öki Lo Öka —-S C 7 


1 


_ C 
Ex, yl 
L-s 


Q:=0G(k,k +1,8). 


(4) WR k>1, Wyo: 否则 进行 下 一 步 . 
(5) 计算 e= cosh, s= sinf Alo 使 


sell, a 


P:=PG¢k,k +1 OF, 
C6) 如 果 K <n- 1, W 


[> ¥ eal e JEE 0 | 
Okey Yk: l =s C fka Yk+2 


k:=k +1, 2 (3); 否则 ， 


上 述 算法 的 导出 是 在 T= B878 不 可 约 的 条 件 下 进行 的 。 从 
T = B18 容易 推出 ， 荆 不 可 约 的 充分 必要 条 件 是 5; 和 y;( 除 565 外) 
MAAS. MARY, = 0 时 ，B 具 有 形状 

B, 0 
B= p Bl 

因此 ， 可 将 B 的 奇异 值 分 解 问题 分 解 为 两 个 低 阶 二 对 角 阵 的 奇异 一 
值 分 解 的 问题 ， 当 某 个 6; =0 时 ,我 们 可 以 给 互 依次 左 乘 (+ D, 
(1+2) e, CGn) 坐标 平面 内 适当 选取 的 Givens $% HE BEH 
第 工行 全 为 零 的 二 对 角 阵 ， 这 一 过 程 可 用 图 示 的 方式 描述 如 下 
(例如 n= 5， 1 = 3); 


其 中 G,=G(3,4,0,), Gs =G(3,5,0s)。 因此， 此 种 情形 亦 可 约 化 
为 两 个 低 阶 二 对 角 阵 的 奇异 值 分 解 问题 。 
在 实际 计算 时 ， 当 6; 或 7 ;很 小 时 ， 就 可 将 8 分 解 为 两 个 低 
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阶 二 对 角 阵 的 奇异 值 分 解 问题 。 通 常 使 用 的 准则 是 ， 当 
1611<elBl 或 [P KEALE] lja D 
时 ， 就 将 O, Ry MES, He 是 一 个 略 大 于 机 器 精度 的 正 数 。 
综述 上 面 的 讨论 ， 就 可 得 到 现在 最 流行 的 计算 奇异 值 分 解 的 
算法 如 下 : | 


算法 5.2 (SVD 算法 ) 

(1) 输入 AER"”™*(m 宇 n) 及 允许 误差 e。 

(2) 二 对 角 化 ， 计 算 Householder 变换 Pi,*…,Ps，Hi*…， 
五 。_ ?使 得 l 

Bi sn 
(Pye Pa PAH Hae) =| pa? 
其 中 
5, Ve | 0 


B= a ii ; 
0 *.. Yn 


U:=P, P; Pns V:H, Ha H n-z. 
(3) 收敛 性 检验 ; 
Ci) 将 所 有 满足 
Ivsl<ec]oyl + 185-11) 

的 7 ; 置 零 ; 

Gi) 如 果 ?》y = 0，7 = 2,…sny 则 输出 有 关 信息 结束 ， 否则， 
7y1: 二 0， 确 定 正 整数 P<, E 

Yp=Yqg1 =" =¥n=0, Y0, PIG 
cii) WREE i 满足 Pi<9q 一 1 使 得 
}6,|<e]P]-, 

wl 5 一 0， X=Y p19 Y= i Yii O l:=1, #4 Civ), Bil 
RE (4). 

(iv) 确定 ¢ = cos0， s = sinf flo 使 
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ô; + 1 一 CO， 
U:=UG(i, i +1,0); 


Cv) 如 果 l<q-1, wij 
X= SY ists Yirgar CYirl+il? Y= islas 


k=l +1 $% Civ), RWF G). 
(4) SVD BA: MAAS. LFR AP 


| Op Yp+ı 0 
| Op. Ypie | 
B, =| E 's 
| 0 ¥q | 
| qg- 
得 
B= PTB, 


U:=Udiag(!p,Pyln-p_q)s ' Vi=Vdiag(],,Q,ly_p_q)s i 
然后 转 步 G). 


这 一 算法 可 计算 任意 -一 个 严 xXnm 实 矩阵 4 的 奇异 值 分 解 : 4 = 
DZYVT。 如 果 用 己 :, 六 和 也 分别 表示 U,V 和 5 的 计算 值 ， 则 误差 


U=W+aAU, 其 中 WTW =1,, WAU leE; 
P=Z+AV, 其 中 ZTZ=1,, [AVIo<es 
=WTCA+AA)Z， 其 中 LAAT <HAlee. 


这 里 一 般 为 机 器 精度 的 一 个 小 的 倍数 . 由 此 可 见 ， 这 一 算法 有 
相当 好 的 数值 稳 定性 :再 历 上 上 奇 寞 值 对 扰动 的 不 敏感 性 ， 即 知 利 
用 这 一 算法 可 求 得 相当 精确 的 奇异 值 。 
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8$6 分 而 治之 法 


分 而 治之 法 是 求实 对 称 三 对 角 算 阵 Schur 分 解 的 一 种 数值 方 
法 ， 是 由 Dongarra 和 Sorensen 在 1987 年 首先 提出 的 。 其 基本 思想 
是 先 将 给 定 的 对 称 三 对 角 阵 “ 分 割 ” 成 2* 个 低 阶 的 对 称 三 对 角 阵 ， 
然后 分 别 求 每 个 低 阶 的 对 称 三 对 角 阵 的 Schur 分 解 ， 最 后 再 将 这 
些 低 阶 的 Schur 分 解 “胶合 ”在 -- 起 而 得 到 原 矩 阵 的 Sehur 分 解 。 
因此 ， 这 一 方法 特别 适用 于 并 行 计算 . 


6.1 分 割 
设 
po. Bs 7 
|B Qa 0 | 
T=) p, | (6.1) 
| Q Bnd pn | 


Ba-1 an ~ 


EEE YT BR = PAE. 不妨 假 定 2= 2m, GEM VER A 


Cn E 。 
v= lone? (6.2) 
其 中 9 ATEN RR. 2 SHEE 
fT =T — pvu", 


其 中 PER。 易 知 ，P 除 “中 间 ” 的 四 个 元 素 为 


站 
Ba — PE Om. PE? 


外 ， 其 佘 元 素 与 工 完全 一 样 ， 因 此 ， 假 如 我 们 取 ob = 6。， 则 
7- 7) PO. (6.3) 
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其 中 


a, By 0 
Br a: ` 
T,= Bs ve, EF 9 
0 Cm 1 Pmi 
Bm-ı Ü m 
Gn Basi 0 
le, Omya EE 
. 
T= Brig *. Cn > 
0 EP “ n-i 
l pa a 


ZE 
j Č n= Qn— P, Ü mil = amy PO, 
1x AF Be TRAE Ty Bl Ay — 7S 5) RA —- k 1 ERRERA. 
MRR, BAYS TA TA AEE ao (6.3) HA. kat F 
去 ， 就 可 将 了 分 割 为 2 5K, 


6.2 胶合 
假定 我 们 已 经 求 得 了 ,和 TT, 的 实 Schur 分 解 
ofTiO=D, 和 QTTsO2 = Das 


其 中 OM Qos mir EERE, Di Al Ds 是 对 角 和 矩阵 。 那 么 ， 下 面 
的 任务 就 是 利用 ,和 Ts 的 Schur 分 解 求 出 TT 的 Schur 分 解 ， 即 求 
正 交 和 矩阵 V， 使 


VITV = diag(Ai ,An), (6.4) 
a> 
Q 0 
U=| h 
0 Q 


则 
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T, 0 
UTTU = ur([ | + poo JU 
. 0 T, 


=D +pzz", (6.5) 
其 中 » 
Qiem 1 0 
a= Ur =| on tm) D=l p,l: 

这 样 ， 欲 求 荆 的 Schur 分 解 问题 ， 就 归 结 AK D+Pzz7 的 
Schur 分 解 问 题 .因此 下 面 来 考虑 如 何 快速 稳定 地 求 矩 阵 D + Pzz7™ 
的 Schur 分 解 。 

引 理 6.1 设 D=diag(di,…,dn)ER"*" 满足 dod, >> | 
dan。 再 假定 P50 HE R" 的 分 量 均 不 为 零 。 MRvcR ACR 
满足 | 

(D + pzz™)v = Av, v0, 
则 27v<0, A D-M 非 奇 异 。 

证 明 车 277 =0, MDv=av, v0, HAE DRIE v 
Fe RF ANS REE de. TLD AE SAC AAS HA ld Yo Ht Fy ABE 
BART i Asdo Y= aei， axo, 这样 便 有 

 0=zTv =az"e, 
这 与 z 的 分 量 均 不 为 零 的 假设 矛盾 。 因此 ， 必 有 zvao. 

HES, FO- 241 奇异 ， 则 必 有 汪 个 上 ， 使 得 eT(D-AlI) = 0 
从 而 有 

0=e](D -41v = ~ pzTveTz, 
(P2720, A ez = 0， 这 亦 与 = 的 分 量 均 不 为 零 矛 盾 。 
定理 6.1 在 引 理 6.1 的 假设 条 件 下 ,再 假定 D + ozzr 的 Schur 
分 解 为 
VTD + pzzT)V = diag( hi ,An), 


其 中 = [vi,* ee Un AIF Ze FRE, A Aizze An 则 有 
C1) Ai * sAn JERS AE BA BL 
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f(A =L PTD -AD 
的 1 个 零点 ; 
(2) 4 P0k, Af Ay>d > Ag d, > Ag das 
4 POR, Fi dy > A> dye dy Ans | 
” (3) ERR, SO, ho, = a,(D-A,1)7 2,15 1,2,3, 0,0. 
证 明 由 已 知 条 件 知 ， 
(D+pz2zT)v, = 人 Di， jz 1 = 工 。 


于 是 ， 从 引 理 6.1 知 ， D-a; EAH; 从 而 有 
v,= -—Pzty,(D-4,1)7'2, t= 1,2,e,n, (6.6) 
这 就 证 明了 (3) 成 立 ， 辣 时 也 证 明了 D+ pszr 的 特征 值 互 不 相同 
CAN, MURA, = 4;， 则 有 vi 与 v 线性 相关 ， 这 与 v ;与 v ;互相 
IE 38 APG). | . 
Bish, Æ (6.6) RAER zT, FERA eT, 0, BA 
l= ~ p2zT(D—-4, Dz, 
即 . 
fA) =0, t= 1,2,+,n, 


这 说 明 1: 均 是 FCA) 的 零点 。 下 面 来 证 SCA) ER Ain 个 零点 。 
设 z= (Eise, )T， ni] 
Ši Ša ) 


一 H tee 十 d... 


了 


Do( si gene fh 
f(A) = aps t tog pe} 


因此 ，f(4) 在 任意 两 个 相 邻 的 极点 d 和 di :: 之 间 是 严格 单调 的 ; 
p>>0 时 ， 严 格 增 加 2<0 时 ， 严 格 减少 ， 由 此 容易 知道 ，f(4) 
正好 有 +n 个 零点 ， 而 且 当 ? 汪 0 时 它们 正好 分 别 位 于 如 下 的 个 区 
间 
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(bn dns) p00 (dy 5d) (dy 00)3 
而 当 ? 过 0 时 它们 正好 分 别 位 于 如 下 的 7 个 区 间 

(— 0,dn) ,Cdnsdn_1) "(dd1). 
由 此 ， 立 即 知 定理 的 (1) 和 和 (2) 成立。 证 毕 。 

从 定理 6.1 可 知 ， 在 引 理 6.1 的 条 件 下 ， 我 们 可 以 按 如 下 两 步 
快速 、 稳 定 地 求 出 D+Pzz7 的 Schui 分 解 : 

一 步 ” 求 1(4) 的 零点 Assn HÆNA +1344) 
内 有 且 仅 有 fC() 的 唯一 零点 ， 而 且 SCA) 在 此 区 间 内 严格 单调 ， 
因此 这 一 步 可 以 应 用 Newton 类 型 的 算法 快速 、 稳 定 地 实现 。 

zos HA 

D- 4,1)" 2 . 
TD Doar, no ES Tatar 
这 一 步 当然 亦 可 快速 、 稳 定 地 实现 

对 于 一 般 的 D+PzzT 的 Schur 分 解 亦 可 归结 为 定理 6.1 所 述 
的 情形 。 为 此 ， 我 们 来 构造 性 地 证 明 下 面 的 结果 。 

定理 6.2 wD=diag(d,,+d ER", 2ER". WEEE 
38 ERE V 和 排列 ee .9 使 得 | 

C1) VEZ = (iE e505 00 OTRE 

Ex 0, f= 1,2,0%,73 

(2) VIDV = diag(dy.1),°% sd yn)) 满足 

dae) > fag) > dr)e 

证 明 ”如果 有 某 两 个 指标 5< 7 使 得 di =d, MRP WCET) 
坐标 平面 内 的 Givens 变换 CGi,7;6) 使 GCi,i,0)z 的 第 了 个 分 量 
Ae, MABE, WEA G,7,0€)'DGa,,0)=D. 这样 进 行 若 
干 步 之 后 ， 就 可 找到 一 个 由 若干 个 Givens 变换 的 乘积 构成 的 正 
3s sah Vi Et VIDV, =D, mH. YTz= (iee, En He: 
€ 6,0, <7, MMA did; 

然后 ， 再 对 VTz 的 分 量 进行 若干 次 两 两 对 换 ， 可 使 其 所 有 不 
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为 零 的 分 量 都 位 于 它 的 前 面 ， 即 可 找到 一 个 排列 方 阵 Pi， 使 
P,Vīz = Com Dj nds 


LERRET 1=1,2,°%,7, 
cwiri)= 0， t=r+l,eer,n, 


其 中 7,.€ fn. FAA Pi REA, HERE 
PTVTDV,P, = PTDP, = diag (dg 0) 3" dain) 


的 前 个 对 角 元 .ddrir 互 不 相同 ， 

最 后 ， 再 对 days sda tn 进行 若干 次 对 换 ， 使 它们 按 从 大 
到 小 的 次 序 排列 ， 即 可 找到 一 个 > 阶 排列 方 阵 Pe, 1E 

PE diag (dy (155° yd a¢r) Po = diag(H Ar)， 
其 中 lisha Hr Æ dast sinar) 从 大 到 小 排列 而 得 到 的 ， 
Rn 

Hy > Meg > > Hra 
现 令 
V =V,P diag( P.,la_5), 
VT z= (čiste Fn)? 
VIDV = diag(d,.1),°**,4ecn)) 
其 中 we .rn 由 Pi 和 Ps 决定 ， 则 有 
0，1=1 2 57， ri= =n=0, 
daen dy (a) > da crys 

即 定理 得 证 ， 

由 定理 6.2 可 知 , 对 任意 的 忆 =diag(d dn) E R" 和 zE R” 
可 构造 出 一 个 正 交 矩阵 VV， 使 
Di+pwwT 031r 

o pd 
其 中 Di=diag (dropdrrn)， dagy Der D= diag 
Cha rt deen))s W= (či T, & 0, 1=1,2,-+,r, Al 
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VICD + pzzT)V = | 


9 
n-r 


此 ,要 求 D + pzzr 的 Schur 分 解 ,我 们 只 需求 出 Di + ptowr 的 Schur 
分 解 即 可 ， 而 后 者 已 是 定理 6.1 所 述 的 情形 ， 可 以 快速 、 稳 定 地 
求 出 。 

在 实际 计算 时 ， 当 然 需 事先 给 定 一 个 准则 ， 来 判定 何 时 两 数 
视 作 相等 ， 何 时 一 个 数 视 作 零 。 一般 是 取 

e= (Dla + [P| fz} 

来 作为 误 差 限 ， 当 |]d; -d| <e HM, MUA Ad, MSs 而 当 
j# ;| 二 5&1 时， 就 认为 £1 为 零 。 

作为 本 节 的 结束 ， 我 们 来 简要 地 说 明 一 下 如 何 将 这 一 方法 应 
用 于 并 行 计算 。 为 了 叙述 简单 起 见 ， 假 定 我 们 是 在 有 4 PbS 
的 并 行 机 上 计算 一 个 4N 阶 的 对 称 三 对 角 和 矩阵 工 的 Schur 分 解 。 整 
个 计算 过 程 可 分 为 四 步 : 

(LD 分 割 : 


Ti 0 l 
=| | + puvt, T ERIN, vER4”; 
0 T 


Ty 0 | 
0 T, 


i 


T,=| +P wW], Ti ERY, w, ER”. 


这 步 仅 需 计算 少数 几 个 数 ， 

C2) 将 177as 分 别 分 配给 四 个 处 理 器 ， 去 求 其 
Schur 分 解 〈 例 如 可 用 对 称 QR WHER). oe 

(3) FET ANT A Schur 分 解 以 及 Ts 和 了 的 Schur 分 解 分 别 
胺 合成 工 . 和 了 的 Schur 分 解 。 这 一 步 ， 由 于 胶合 过 程 主要 是 求 形 
如 D+Pzz' 的 和 矩阵 的 特征 值 和 特征 向 量 ， 而 这 些 特征 值 的 计算 基 
本 上 是 相互 独立 的 ， 因 此 亦 可 分 配给 四 个 处 理 器 同时 进行 。 

O 再 将 TAIT Ay Schur 分 解 胶合 成 了 的 Schur 分 解 。 这 步 
亦 可 分 配给 四 个 处 理 器 同时 进行 ， 

从 上 面 的 讨论 看 出 ,分 而 治之 法 并 行 的 效率 是 很 高 的 。 因 此 ， 
它 适 用 于 在 并 行 机 上 求解 大 型 对 称 三 对 角 和 矩阵 的 全 部 特征 值 和 特 
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征 向 量 。 
J3 ğ l 
"21, W HER” 是 不 可 约 的 上 Hessenberg pE. 证明， 存在 
IARD, ER D-1HD 的 每 个 次 对 角 元 素 BAL. (Dee 
少 ? 
2. 设 A= ; r asm, 并 且 有 特征 值 4+iw， 其 中 
4 不 为 零 ， 给 出 确定 c=cos 9 和 s= sin 9 的 稳定 算法 ， 使 得 


E earl, 


3. TERA: 车 对 于 = © , ER?” 进行 单 步 位 移 的 QR 
aK: 
H-zl=OR (QR 分 解 )， 
H=RO+2!; 
则 


la < jsx] w- 
4. WBA: FAE H= Ho。， 并 且 由 
Hg- Fpl =ULRE: 
Hyep = ReUr ttl 
产生 Haris K=0,1525°%; 其 中 uw, ARR, Ure EXER, Re 
是 上 三 角 和 矩阵 ， 则 
(UUU 5) CR jee Ro) = CA — Ble Ct — Hol). 
5. ie ABBE 
Tu Ti Tis 
"| 0 Tee 了 23 


0 0 Tas 


E Rr, 
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HP TER?” ARHAR H 与 Tu 和 Ta 的 特征 值 分 
离 。 试 给 出 一 个 求 对 应 于 To 的 特征 值 的 不 变 子 空间 的 计算 方 
法 。 

6. 令 x,yE R"， 计算 c=cos9 和 s=siah9， 使 得 


C 5 
wal a 
的 列 相互 正 交 。 
T. BEA 是 实 对 称 三 对 角 和 矩阵 厂 的 特征 值 。 证 明 : 车 4 的 代 
数 重 数 为 k ， 则 代 的 次 对 角 元 素 至 少 有 天 -1 PRE. 
8. WH: Æ A=B+iC 是 Hermite pE, H+ BACHE 


矩阵 ， 则 
B -C 
C B 


为 实 对 称 和 矩阵 。 A 与 MM 的 特征 值 和 特征 向 量 之 间 有 什么 关系 ? 
9， 设 ACC” 是 Hermite if. 给 出 一 个 算法 ， 计算 西 
REU, WE U*A5 HRI BR Mtg AG 
10. BET xe TEE KAPRER AA ME AE FRE. 3) KAY 
eB T 和 Ts 仍 是 正定 的 ? - 


Àf = 
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第 八 章 ”求解 实 对 称 特 征 值 问题 的 同 伦 方法 


81 向 伦 算法 概述 


同 伦 算法 从 70 年 代 开 始 ， 经 过 二 十 多 年 来 的 研究 ， 现 在 已 经 
发 展 成 为 一 种 十 分 重要 的 计算 方法 ， 得 到 了 广泛 的 应 用 ， 出 现 了 
不 少 行 之 有 效 的 算法 ， 其 中 求解 实 对 称 特征 值 问题 的 辣 伦 算法 就 
是 典型 的 一 例 ， 

同 伦 算法 可 分 为 两 大 类 : 一 类 是 以 微分 拓扑 学 中 的 Sard 定 
. 理 、 原 像 定理 、 一 维 流 形 分 类 定理 和 Euler 折线 法 相 结 合 而 发 展 
起 来 的 连续 同 伦 算法 ; 另 一 类 是 以 代数 拓扑 学 中 单纯 前 分 和 单纯 
逼近 为 基础 而 发 展 起 来 的 单纯 同 伦 算法 。 这 里 ， 只 对 连续 同 伦 算 
法 作 一 简略 的 介绍 ， 有 关 详细 情况 可 参见 文献 [13]。 

考虑 计算 非 线性 映射 / : R" 一 R" 的 零点 问题 。 这 里 ， 为 简 
化 讨论 起 见 ， 我 们 假设 f 是 光滑 上 映射。 

连续 同 伦 方法 的 基本 思想 是 ， 先 构造 9 : R">R' 为 一 个 零 
点 明显 的 人 为 光滑 映射 ， 并 将 与 9 用 一 个 连续 映射 〈 即 所 谓 的 
” 同 伦 ) 连结 起 来 ， 然 后 再 从 平凡 映射 9 MEAN RRS BAA 
标 映射 7 的 零点 。 通常， 连结 f 和 9 的 最 简单 而 实用 的 同 伦 是 : 

HCx) =tf(x) + C1 -igCx), (HERXIL ALD 
BA, HBA, WH H(x,0)= g(x)，HCx,1) =f). 

当然 ， 为 了 实现 从 9 的 零点 过 渡 到 /的 零点 的 目标 ， 必 需 对 
人 为 构造 的 9 和 五 有 一 定 的 要 求 。 目 前 ， 这 方面 的 理论 框架 已 经 
十 分 清楚 。 

下 面 引进 一 些 记 号 和 定义 ， 

对 tELD0,1], 记 HiC*，)=H(。， ,ty); MVR", 记 

HY) ={¢x,t)ER*x[0,1]:; 万 (的 = 办， 
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Hi = {xE R”; H(x,t) =y}; 
LL H ig WEF BE Ke ent nx (nt+1) Br Jacobi Fs BE, 


H 4 1H EFA kees Xj Xot Xan HEM nxn Jacobi 
j 


whe, B 
| ah, ah, ah 
| ax; ax» OX ny 
I 
H’ =, ee one 9 
9 Oh, On, 
ax, dX, Xna] | 
12. 
[~ ~ 
hy ah, h, “oh, ， 
KES OX;_, OX 544 Xna 
H? =l wee sae seve, 
mr. 
Ci | 
ah, one 3hn dh, ee dha 
| əx, 9xji 1 Eja Omer | 


其 中 xn Ht, HCx,t) = (hx ,t), hax, 8)", 

利用 上 述 记 号 ， 易 知 ，Ho= 9, Hi=f, 并 且 

HUWMOR"™xft}=H;'cw, yeER"; 
特别 地 
H'O RR" x(t} = Hi0). 

我 们 的 目标 就 是 希望 从 已 知 的 H0O = g-1(0) 出 发 ， 然 后 通过 
H “(0) 到 达 原 问题 的 解 集 Hi11(0)= So. 

定义 1.1 KAM. DAE. 如果 (x,!)E R"xf0;1] 满 
是 rank(H'(x,t))=n, ON A’ CER Cx OUR, HY t=0 时 ， 还 
有 HAGE RX OTR, WR GD HH 的 一 个 正则 点 。 如果 yE 
R” 使 得 HOO PENARE HASTE MOR, WW Bey BA 
7 XE Wie 

利用 微分 拓扑 中 的 原 像 定 理 和 一 维 流 形 分 类 定理 可 以 证 明 
《 详 见 文献 [12] ,[13]); 
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定理 1.1 0ER” #0. DA EXÉ HØIE M i. MH É 
FAR HOR- HEREZE A MT A 一 条 这 
样 的 道路 或 是 圆周 的 不 与 R”x {0,1 EZMA Rs 或 是 区 
间 的 不 与 R® x {0,1} 相 切 的 微分 同 胚 像 ， 其 财 m aa AE Rx 
{0,1}_k. 

< 由 定理 1.1 知 ， 在 0 是 H 的 正则 值 的 前 提 F HO) 中 所 
包含 的 道路 的 种 类 如 图 1.1 所 示 。 i 


IR’X {0} 


图 1.1 


EE BAN HH AE 7 BA H OO = gO FE A 出 发 
沿 万 -:0) 的 光滑 道路 到 达 Hi = 了 的 零点 ， 因 此 ， 端 点 不 在 RR" 
x 107} 上 的 道路 不 是 我 们 所 关心 的 ; 另 一 方面 ， 端点 里 在 R"x 
{0} 下 ， 但 却 光 界 的 道路 ， 对 我 们 亦 无 帮助 ， 而 且 还 会 带 来 麻烦 。 
H T WPR X PPE REE, A A mi H WE A T A RER f: 
存在 RPR- PARR G, E13 
HONO xrF0,13) =<, 


其 中 3 钨 表示 多 的 边界 。 

CA REAR ERA BOE x LOU ZR RD 
的 闲 包 ) 上 的 任 一 条 光滑 道路 可 到 达 六 = 7 的 一 个 零点 ， 或 回 到 
Ho= 5 的 另 -个 零点 。 在 实际 计算 时 ， 如 果 只 要 求 算出 了 的 一 个 
零点 ， 可 取 9 为 内 有 一 个 零点 的 光滑 映射 ， 此 时 道路 两 端 都 在 多 
x {0} 上 的 情形 不 会 出 现 ， 
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Rs 为 道路 的 弧 长 参数 ， 则 道路 上 所 有 n+1 个 变量 xx, 
xn Xn+1=t 都 可 表 为 参数 s 的 函数 。 设 0E 民 "是 五 的 正则 
”和 值 ,给 定 初 始点 (x ,ti 中 )EHT 1(0)， 考 虑 Cauchy 问题 : 
sç- pit det H? ， E 

Tj J=1,2,°%,n+1, (1.2) 

. x;(0)= x"??, 
MW BENT AT CATE RA: CS), ts Xn) Xn CSE HOP — 
道路 的 充 要 条 件 是 它 是 Cauchy 问题 (1.2) 的 解 (参见 文献 12]) 。 

这 样 ， 连 续 同 伦 方法 通过 辣 伦 把 零点 计算 问题 转化 为 微分 方 
程 的 初 值 问 题 。 因 此 ， 我 们 就 可 采 用 Euler 折线 法 或 预 估 - 校 正 
法 求 得 所 需 计算 的 零点 。 

从 上 面 的 讨论 ， 大 家 已 经 看 到 ， 同 伦 算法 的 基本 框架 已 经 十 
分 清楚 。 然 而 ， 具 体 应 用 时 仍 有 一 定 的 困难 。 关键 是 如 何 选取 合 
适 的 人 为 映射 9(x)， 它 既 能 保证 其 连接 目标 映射 之 零 点 的 光 请 
道路 存在 ， 又 能 使 得 数值 追踪 这 样 的 路 径 不 会 付出 太 大 的 代价 。 
当然 ， 这 并 非 一 件 易 事 ， 需 对 所 讨论 的 具体 问题 作 深入 透彻 的 研 
窜 ， 才 有 可 能 根据 具体 问题 的 特点 成 功 地 构造 出 所 需要 的 映射 
o gE. 


$2 EHER EA PER 


H e An T RT ER Be HE E ol a : 
Ax = Ax, (2.1) 

这 里 4 是 已 知 的 nxn KIJAB, x 和 4 是 要 求 的 非 零 实 向 量 
和 实数 。 通 常 称 每 一 对 满足 (2.1) 的 向 量 * 和 实数 4 为 4 的 一 对 
特征 元 素 . 

由 于 对 任 一 给 定 的 实 对 称 什 阵 ， 都 可 以 通过 标准 的 三 角 化 过 
程 将 其 三 对 角 化 ， 改 不 失 一 般 性 可 假定 4 是 对 称 三 对 角 智 阵 。 此 
外 ， 亦 可 假定 A 的 次 对 角 元 素 都 是 非 零 的 ， 这 是 因为 否则 可 将 原 
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问题 化 为 几 个 低 阶 问题 分 别 考 虑 。 因 此 ， 在 本 章 今后 的 讨论 中 ， 
如 果 没 有 特别 说 明 ， 我 们 总 假定 


ra, Bo | 
| Be Qa ~. 0 | 
A= mete ES LH B: =¥0, 1= 2,1, 
0 E an-1 Brn | | 
. Bn ap- 
显然 ， 问 题 (2.1) 等 价 于 求 非 线 性 映射 
Ax —-Ax 
f(x, A) = p(x" =D > (xX,A,ER"™XR (2.2) 


的 零点 的 问题 。 因 此 ， 我 们 可 以 应 用 同 伦 方法 于 (2.2)。 为 此 ,我 
A156 BER — 7 SEM Bp = Mt Sf ME D TE: | 

(1) DER?" 有 7 个 互 不 相同 的 特征 值 ， 且 对 应 的 特征 值 
问题 容易 求解 ; 

(2) 对 任意 的 iE (0,1]，A(1)=D+i(A 一 DD) 是 次 对 角 元 素 
dE Hy Xt FR = et fA ERE. 

这 样 的 站 是 容易 选取 的 。 例 如 ， 我 们 可 取 叫 为 对 角 元 素 互 不 
相同 的 对 角 和 矩阵 . 

对 于 选 定 的 D， 定 义 g， R*xR-R*xR 为 : 
AX — DX 


9(%,A) = ， (x,A)ER"xR. (2.3) 


l vvxT 
Cx 一 
z< x-1) 


然后 ， 再 定义 HR" x R x70,1]>R"x RY: 
H(x,A,6) = C1 -tox,A) ttf(x,N) 
how 


= texts ~1) , (xX, ADER” xRx[0,1], 
2 . 、 


(2.4) 
其 中 A(t) =D4+tCA-D), 
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.我 们 将 称 厂 为 初始 和 矩阵，4 为 目标 矩阵 。 设 忆 的 特征 值 为 
Histon, XEMIRI RREI Vistes Yn, MIC 14》=0 有 且 仅 有 
27 个 解 (+yipi)，L=1,2,…， 2， 这 里 当然 假定 27y, =l. X Qn 
个 零点 是 容易 求 得 的 。 王 面 我 们 来 讨论 这 样 定义 的 同 伦 五 的 基本 
性 质 ， i 

引 理 2.1 OC R*xXR EQ. OR 2 XM AAEM. 

证 明 容易 算出 
o| åA -AW x (CD-4)x 

xT 0 0 
AER (CX, A DEH IO), NA 
H(x,4,t)=0, 


f (n+ } n ) 
H ERO DRADD 


即 
ACt)x=Ax H xTx=1.。 


这 也 就 是 说 4 是 4(2 的 特征 值 ， 是 对 应 的 单位 特征 向 量 。 由 
ACL) RR ACH BBA Hy ED SE BR = A BE, AC 
ARE GA AA ll. Ab, A FE EERE REO, tE 

OTACEIO = diag(A, Azs ts An), 
AL Qe, =x, AXA 1=2,e5n, & 

U = diag(Q, 1), 
n 1 

AU fbn + 1 阶 正 交 阵 ， 而 且 


AI- AQ) x | A e, 
T [U=] or 
x 0 | ej 0 


Fe — MAE at SERRE, FEAT 4= diag(0, 2> Azt, A =- An)e MAT, 


| AI- AC) | 
H= 


UT 


xT | 0 


TERR. FEH EAO, A DRE, M,a DEHE 则 点 。 
注意 到 (x,4,5E 万 -1C0)? 的 任意 性 ， 即 有 0 是 万 的 正则 值 ， 
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312.2 设 互 由 (2.4) 所 定义 ， 则 集合 HORA RK, 
TEAR ”和 任 取 Cx;,4,t) EHTO, AWA 
ACt)x=Ax H x™x=1, 
于 是 cl,= 1 而 且 对 tEL0,1]， 有 
[A] = laxi = [ACI 
<(1-f)DI2+t] Ale 
| <[Dll2+ Alz. 
Kit HORRA H e 
31382,3 设 瑟 由 (2.4) 所 定义 ， 并 假定 
Fr: €x(€s),2408),t(S)) 
是 妃 -:(0) 中 的 任 一 条 道路 ， 其 中 s 为 工 的 弧 长 参数 ， 则 必 有 


dt 
de 0， 


即 BULK s 的 单调 函数 ， 
证 明 hr HOt ERK, KE 
HCXCSY, ACS) ECS) =0, Vs, | 


对 上 趟 两 边关 于 3 微分 有 
de 
| ds | an de | 
He ay ae ds r (2.5) 
ds | 
从 (2.5) 易 知 ， 车 下 = 0， 则 必 有 HH ae ak ae (FE ae 4) 


x0). 但 


f 一 
He 


ACSI ~ ACECS)) xs) 
x(s)T 0 | 


而 从 引 理 2.1 的 证 明知 它 应 该 是 非 奇 异 的。 这 一 矛盾 说 明 ft 
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的 假定 是 错误 的 ， 从 而 必 有 下 0， 对 任意 的 s 成 立 。 


根据 引 理 2.1,2.2 和 2.3 并 应 用 定理 1,1， 我 们 就 可 得 到 如 
FEM, 

定理 2.1 设 上 过 是 由 (2.4) 定 义 的 。 则 五 (0) 由 2n 条 互 不 
相交 的 光滑 道路 组 成 ， 每 条 道路 了 都 以 DD 的 一 对 特征 元 素 为 起 
点 ， 而 终止 于 A 的 一 对 特征 元 素 ， 并 且 可 表示 为 

P: CE) AGD, tD, te€f0.1]. (2.6) 

通常 我 们 称 五 (0) 中 的 每 条 道路 为 一 条 同 伦 路 径 。 对 于 每 

条 形 如 (2.6) 的 同 伦 路 径 三 从 引 理 2.1 的 证 明知 ， 和 矩阵 


aDI- Att) x(t) | 
saoao] ) ”7* g 


x(tyT 0 
对 任意 的 上 EL0,1] 都 是 非 奇 异 的 。 现 洛 着 了 对 已 微分 可 得 
dx 
dt | CA- Dx 
BCC) KOT") xCD , tE[O0, 11, 
då | 0 
dt 


(2.7) 
Hit, HCO) PH 2n RAER, HETA 分 方程 (2.7) 分 别 
LA DAY 2n 对 特征 元 素 ( 二 yj;i)C= 1,2, 2) 为 初 值 Wy Cauchy 
问题 的 2n 条 解 曲线 。 于 是 ， 我 们 可 以 通过 求解 这 2n 个 Cauehy 问 
题 (同一 个 方程 的 2n 个 不 同 的 初 值 ) 而 得 到 所 需 的 2n 条 同 伦 路 
径 ， 进 而 求 得 4 的 所 有 特征 值 和 对 应 的 特征 向 量 。 这 样 ， 求 解 常 
微分 方程 组 初 值 问 题 的 各 种 数值 方法 就 可 以 用 来 作为 计算 这 2n 条 
同 伦 路 径 的 数值 方法 。 而 就 我 们 所 关心 的 问题 而 言 ， 只 需求 以 
Cyi9 Ki) (i= 1,2,…,7n) 为 起 点 的 n 条 同 伦 路 径 即 可 ， 这 是 由 于 
这 1 条 同 伦 路 径 的 终点 已 经 给 出 了 A 的 全 部 特征 值 和 对 应 的 单位 
特征 向 量 。 下 一 药 ， 我 们 将 根据 万 的 特点 详细 地 讨论 如 何 高 效 地 
”数值 追踪 这 mm 条 同 伦 路 径 。 
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53 同 伦 路 径 的 数值 追踪 


iz . 
Pr: («@),ACt)), =9t€ [0,1] (3.1) 

是 由 (2.4) 所 定义 的 同 伦 H 所 确定 的 任 一 条 同 伦 路 径 ， 并 假定 它 
的 起 点 为 万 的 第 .: RETEGO ,4;)。 这 一 节 ， 我 们 来 讨论 怎 
样 数值 追踪 这 条 同 伦 路 径 ， 以 达到 求 出 其 终点 (x(1),4(1))( 即 4 
的 第 ! 对 特征 元 素 ) HAA. 

数值 追踪 一 条 同 伦 路 径 了 的 基本 思想 是 ， 在 [0,1] 上 适 当地 
选取 一 些 点 

0 = tpt, type <ct, l, 

PREM) AHWR, Hk 步 是 利用 前 面 天 - 1 步 所 得 到 的 
KF C&C; ),AG, C= 0,1,2,*…,k 一 1) 的 信息 使 用 某 种 数值 方 
法 来 确定 (xCti),4C6)) 的 近似 值 ,一直 追 赶 到 目标 C(x) ;Atm)) 
为 止 。 通常 使 用 的 数值 方法 就 是 所 谓 的 预 估 -校正 法 首先 利用 
前 面 所 得 到 的 信息 给 出 AGk) AG, HB-B OB fi iH), 
4(z))， 即 所 谓 的 预 佑 ， 然 后 使 用 收敛 速度 较 快 的 迭代 法 以 
Ck) AGDA, CC, AG) 的 较 精确 的 
近似 值 ， 即 所 谓 的 校正 。 

而 就 我 们 现在 将 要 追踪 的 同 伦 路 径 了 而 言 ， 由 于 对 每 个 tE 
LOTT, GOAO EIR ELE A E A) SE Ht Bp = Ht f HR 

| AQ) =D+t(A-D) | 
的 一 对 特征 元 ， 因 而 我 们 第 天 步 的 预 舍 和 校正 应 该 是 ， 先 依 据 前 
面 几 步 得 到 的 信息 给 出 A(ti) 的 特征 值 和 相应 的 特征 向 量 的 初步 
估计 ， 然后 利用 这 一 初步 估计 使 用 收敛 速度 较 快 的 迭代 法 给 出 
4(t) 的 特征 值 和 相应 的 特征 向 量 的 更 精确 的 近似 值 。， 

下 面 我 们 分 四 步 来 详细 讨论 如 何 具体 实现 上 述 的 基本 想法 。 
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为 了 避免 书写 和 符号 上 的 麻烦 ， 在 下 面 的 讨论 中 我 们 记 ”= 
lps Skyy h=trsi—trys 而 且 不 区 别 计算 值 和 真 值 。 


3.1 预 估 


工 ， 特 征 值 前 预 估 

现 假定 步 长 4 已 经 确定 ， 并 且 已 知 Cr), AACS), 
4(4s))。 我 们 希望 给 出 4Cs + 有) 的 一 个 初步 估计 Als +4). 

先 考 虑 s= 0 的 情形 。 由 于 初始 矩阵 D 也 的 特征 元 素 (y;,4;) 
(7 =1,2,*…,1) 很 容易 求 得 ， 因 而 可 以 很 容易 利用 下 面 的 公式 求 
HAC) E= 0 的 前 4 阶 导 数 . 


dA 


APVO) = di = YICA-D)¥;5 (3. 2a) 
Lit=o 


d221 
(2) = 
A‘*’CQ) de 


,= WFCA — DD #00), (3, 2b) 


od? 
(3) - OA 
40) = 村 


， 3I CA- D— 40) ECO)» (3.20) 
a (0) = SA... = 4yT(A-D-AM CODD) £0) 


— 62°? (0)yTE (0), (3.2d) 
其 中 


(0) =G,;(A-D)¥;, 
#€0) = 26,[A-D—-a?’O)7T 4200) — [EO0) TECO) Jy;, 
x (0) = 86, [C(A -D -AVOINE -AC0)ECO)] 
— 3(£(0)T2(0) yi, 
Gi=Y;AiYi, 
Y;= CY tts Yiia "es Vn |], 


. 1° 1 1 1 
A; = dia (4 yeee, oE, eo es 二 
i 8 pi;— By’ he hic Ai 一 Ai 
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这 些 公 式 很 容易 利用 等 式 
AWC) = ADX), xCTx(t=1, tE[0, RAS 
(3.3) 
及 x(t 和 4C2) 的 可 微 性 导出 ,建议 读者 作为 练习 自己 推导 一 下 。， 
因此 ，、 对 于 s=0 的 情形 ， 我 们 可 以 用 4( 引 在 t=0 时 的 三 阶 
Taylor 展开 式 给 出 4() 的 初步 估计 : 


ACh) = ACO) + ACOA + SACO + FACH, 


(3.4) . 
对 于 sE(0,1) 的 情形 ， 由 于 对 任意 的 上 EL0,1] 都 有 
AQ) =x(ETCA — D)x(t), 
所 以 从 已 知 信息 很 容易 求 得 407 和 AG), MALAM D AC), 
A(t), ACS) ACs) 为 播 值 点 的 三 次 Hermite 播 值 多 项 式 来 给 出 
ACs + 人 的 估计 hoCs +A): 


AoCS + Hh)= p(s +h), (3.5) 
其 中 


PO) = AGT) + ACr)CE -+) 十 AITAI SN 一 四? 


i CODIAD AAO 2L4(S) 一 MOT, —r}(t—s), 


2. .特征 向 量 的 预 估 

在 求 出 特征 值 ACs + 有 ) 的 初步 估计 Xols +h) Zia, RATA 
想到 ， 用 ACs + AE fie SB AREA PE Ig 量 *(s + 
步 估计 xs +h), ARN Ose et RT RE a RG 
到 的 特征 向 量 xCs)， 即 

| xoCs +h) = y/ lyla, (3.6) 

其 中 是 方程 组 : 
[Ag(s +h)T— ACs +h) ly =x(s) (3.7) 
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的 解 。 | 
3. FRB BE 
现在 来 考虑 如 何 确定 步 长 使 得 
[ACS+h) -Mls+h)|e, | (3.8) 
其 中 是 事先 给 定 的 预 估 误 差 ( 通 常 不 应 太 小 ， 例 如 >10). 
”因为 我 们 是 用 Hermite 插值 多 项 式 来 对 4(s+ 刀 进行 估计 的 ， 
所 以 由 Hermite 插值 多 项 式 的 余 项 公式 有 


ACS +h) -—Ag(s +h) = soe ELA +(s—r)]?, (3.9) 


其 中 2C(r,s+h], 
假如 我 们 已 有 一 估计 
PASES) [=Ms; 
则 从 (C3.9) 知 欲 使 (3.8) 成 立 ， 只 需 取 使 


[h+Cs—r) PAM, = 24e (3.10) 
Alay, 
令 


fch) =[h+cs-r)]}*h’, 
则 了 的 图 像 如 图 3.1 所 示 。 由 此 易 知 方程 
Jh) =24e/M, 
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有 且 仅 有 唯一 的 正解 。 因此 ， 我 们 可 用 这 一 正解 不 来 作为 步 长 的 
预 估 值 。 由 f 在 4 二 0 的 严格 单调 性 ， 这 一 正解 很 容易 M Newton 
迁 代 法 求 出 ， 选 代 的 初 值 自然 可 取 作 前 一 步 的 步 长 如 = 一 站 
现在 再 来 考虑 如 何 给 出 M 的 估计 ， 
对 于 3=0 的 情形 ， 上 自然 可 用 |4 CO ,来 作为 M。 的 值 ， 而 且 
初始 步 长 自然 应 取 作 


h = Fae , (3.11) 


这 是 由 于 =0 有 时 有 
ACR) 一 ACh) = FA VDA, ?ECO0,k) 


之 故 。 

对 于 一 般 的 se (0,1)， 利 用 前 一 步 对 M. 的 估计 值 ， 我 们 可 
以 通过 解 方程 组 (3.10) 求 出 当前 的 步 长 天 的 估计 ， 从 而 可 给 出 ， 
ACs +A ACs +4)， 并 通过 后 面 将 要 介绍 的 校正 法 可 求 得 
ACs +h) 的 精度 很 高 的 值 。 因 此 ， 现 在 假定 ACs +h) A ACs +A) 
都 已 求 出 ， 我 们 来 给 出 Ms 的 估计 。 

由 于 


= ]A(S +4) -Ag(s+h)| = Sth ts—r PRAM |, 


故 
[AVP CED] = 248/CEh +s -r Par], 
因此 ， 可 取 


Mei, = 246/[[4+5s—-7]?h*], (3.12) 
3.2 校正 


这 一 步 我 们 需要 一 个 收敛 速度 较 快 的 求实 对 称 和 矩阵 的 一 对 指 

定 的 特征 元 素 的 述 代 方 法 。 从 特征 值 计算 的 经 典 理论 可 知 ，Ra- 

yleigh 商 选 代 法 是 担当 此 任 的 最 佳 候选 者 。Rayleigh RAKE 
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是 以 Rayleigh 商 作 位 移 的 反 寡 法 。 其 基本 算法 如 下 : 


算法 3.1 (Rayleigh BARA) 

C1) BASE RBH BER", Wia 向 量 x CRC ole = 
1)， 以 及 精度 要 求 < GARATI; k=l. 

(2) vy xt_,Bxy_., 

(3) 求解 方程 组 (er-B)y=xr -ll 得 7 。 

《4) x,:=y/T¥le. 

《5) 如 果 17 ia<s， 则 输出 x, Av, RAR, 否则 k= 
“K+1 转 (2)， 


注 5.1 CG) 在 上 述 迭 代 中 ，ly|;'<e 意味 着 剩余 
px = -Bpl =1/I¥le<e. 
IX BT BCX ,vx) 已 是 与 B 非 常 靠近 的 一 个 矩阵 的 一 对 特征 元 素 。 
从 而 在 B 的 特征 向 量 不 是 十 分 病 SREP. Cov ORE BN 
一 对 很 好 的 近似 特征 元 素 。 
(2) Rayleigh 商 迭 代 的 最 终 收敛 速度 是 3 次 的 ， 即 者 Pj = 
hv, B2xzxls 已 很 小 ， 则 | 
Perr = Oka Bxl = OCPE). 


基于 Rayleigh PE AHEM PRC HE, EAR 应 选 择 其 作为 校 
正 的 数值 方法 ， 即 在 求 得 ACG + AO RE +h) 的 初步 估 
计 xi Cs+ 有 之 后 ,应 对 B= 4(s+A 和 xo=xoCs+ 有 应 用 算法 3.1。 


3.3 BE 


为 了 避免 在 追踪 过 程 中 从 一 条 同 伦 路 径 跳 到 另 一 条 同 伦 路 径 
的 现象 出 现 ， 我 们 将 在 追踪 过 程 中 不 断 地 检查 以 保证 始终 妃 踪 同 
一 条 同 伦 路 径 。 

怎样 来 判断 其 是 否 追 踪 同 一 条 同 伦 路 径 呢 ? 根据 不 可 约 对 称 
三 对 角 和 矩阵 的 性 质 知 ， 如 果 4(0) 是 和 A400) 的 第 i 个 特征 值 (从 小 
到 大 排列 )， 那 么 对 任意 的 上 2E[0,1]，4(b9 亦 是 4( 纪 的 第 工 个 特 
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征 值 。 因 此 ， 我 们 首先 应 读 利 用 对 称 三 对 角 和 矩阵 的 Sturm 序列 性 


质 来 判断 是 否 追 踪 同 一 条 同 伦 路 和 公 . 
设 
a, be 0 
T= b, a, ` 
bn 
0 bn an 


为 不 可 约 实 对 称 三 对 角 和 矩阵 ， 并 记 p MOETE i MET 
阵 的 特征 多 项 式 ， 则 有 下 面 的 三 项 递 推 公式 ， 
po A)Sl, PpP1(A)=a1—A, 
Pi (AD = Cai- DP BFP, F253, 000515 
mE. Pi-i 的 零点 pY 分 隐 p: 的 零点 AG 
BP pV pW L L Vc, 
HI Por Pise**> Pn 构成 了 一 个 sturm 序列 。 由 此 易 证 ， 
定理 3.1 FER LCR", Rid GCC 是 数列 PCH) sts Pah) 
的 变 号 数目 (如 果 p: 0D = 0， 规 定 pi UDI Pina GORED , ill 
GCp) 正 好 是 pa(1) 之 小 于 到 的 根 的 个 数 《〈 即 人 之 小 于 A 的 特征 值 
的 个 数 ) 。 ` 
定理 3.1 的 证 明 作 为 一 个 练习 请 读者 自己 给 出 。 
令 
GCA) = PICA Pia CA), T= 125， 
则 9 (A) A Rea PA er 
= a= Às 
9,04) = Ca; =A) -bi/9i1(), i=2, e,n 
由 此 易 知 GCA) 正 好 是 数列 a a D BHR. E 
就 得 到 了 计算 cows AK, 


算法 5.2 
(1》 输 入 荆 的 对 角 元 素 和 次 对 角 元 素 


Gis gadnsbas* brn, 
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以 及 实数 4。 
(2) qa, 一 上，1 一 2， 
(3) 如 果 有 三 0， 则 G00: 二 1， 否则 G):=0. 
(4) 如 果 4;-1=0， 则 49;-_:=1bile (8 ABLARE). 
(5) q;:ma;-u#-b7/4,_4. | 
(6) 如 果 9; 过 0， 则 CGO:=CCU) +1. 
(D ani<cn, Mj i= +1, 944); 否则 输出 GC(4), 结 束 。 


注 3.2 49;-104)=0 时 ， 我 们 以 (bile 来 代替 了 49;_1(4)， 
这 相当 于 用 a;_1+15 le 代替 了 a;_!。 因 此 这 一 算法 是 数值 稳定 
A. 

现在 假定 对 B= A(s+&) 和 xo=xols+h) 已 用 算法 3.1 求 得 
xx 和 vv。 我 们 希望 判定 (x ,vic) 是 否 仍 然 与 同 伦 路 径 本 最 接近 ， 
亦 即 希望 判定 vj 是 否 与 4A(s + 如 ) 的 第 i 个 特征 值 ACS + 和) 最近 。 

对 了 = 4(s+ 人 和 4= wx 应 用 算法 3.2， 可 求 出 GO). 根据 
定理 3.1, Rv, 与 4(s+h) 最 接近 ,; 则 GCv%) 只 能 等 于 1 或 1--1。 
人 因此， 车 GCv xr) 不 等 于 i 或 1--1， 则 表明 当前 的 结果 已 偏离 了 所 
要 追踪 的 路 径 Tr. (HH, “GM O= 时， 我 们 也 只 能 断定 vx 在 
A(s+ 上 的 第 i 个 特征 值 AG + 有 与 第 1+1L 个 特征 值 之 间 ， 而 并 不 
能 断定 其 与 4(s+ 且 最近。 对 于 GCox)y =1-1 亦 有 同样 的 问题 
因此 ， 我 们 需要 下 面 的 结 采 。 

定理 3.2 如果 (xk ,v4) 充 分 靠近 (x(s +h),A(s+h)), 则 有 : 

C1) Bexhiix_p 0, Wepoac+h); 

(2) # xI xg <0, Wy, <AGs +h), 
其 中 rp 为 算法 3.1 中 产生 x, 的 前 一 个 向 量 。 

VERB 设 4(0s+ 有 的 特征 值 和 特征 问 量 分 别 为 如 ,… ;An 和 


wuUn， RE 
ACS +h)u;=Ajuz, F=1,2,e0,n, 
HAR 2 deg le= 1 G=1,2,% 7), Ai = ACS +h), u =xCsth), 
| ”303 


由 于 ui sun 构成 R" 的 一 组 标准 正 交 基 ， 故 rei ATR ye, 
un 展开 : 


xp = DV iM yr 
j=l 
其 中 


n 


Yi=U} Xk i 1 =1,2,°",n, 之 173 = 1 


jo | 
由 于 xk 已 与 ui = x(s + BEE, ir 不 会 术 小 。 这 样 便 有 
a _ n Yj 
y=(¥,1-ACGs +A) xk = Xy; TRE 


i=1 


从 而 有 


n 2 
T ya Yi a ti. 
i (3.13) 


最 后 的 约 等 于 号 是 由 于 Vv 与 41; = ACs + 有 ) 已 充分 靠近 而 且 Y; 又 
不 是 很 小 的 缘故 。 再 注 意 到 xx 与 了 Y 共 线 ， 从 (3.13) 立 即 得 到 定 
” 理 的 结论 ， 

-将 定理 3.1 和 定理 (3.2) 结 合 起 来 ， 就 可 给 出 如 下 的 核查 准 
则 :， 如 果 下 述 条 件 之 一 成 立 ， 

(1) CC =1, H xfx 0, 

(2) CC) =t-1, H. x_x} Z0, 
WA OBE Eet FEsB eR ere Ps 否则 就 认为 偏离 了 方向 ， 此 
时 就 将 当前 步 长 减 半 并 重新 开始 进行 特征 值 和 特征 向 量 的 预 估 和 
校正 。 


3.4 ACRE 

SRA ATMA ISHS, TIRRI ay 4 BRS EB i 
个 特征 值 和 对 应 的 单位 特征 向 量 的 同 伦 算法 如 下 ，; 

算法 5.35( 同 伦 算法 ) 
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(1) 输入 矩阵 A ,DD 和 DD 的 特征 元 R (Yj Hj) 1=1,2,, 
n ， 以 及 预 估 误 差 >00 (R 不 应 太 小 ， 例 如 2 宇 10 习 )，。 
(2) 利用 公式 (3.2) 求 出 2020074200)， AE OAP O. 
(3) t:=0, hi:=0, di:=0, ASH; MH Ys, AQ=Hy, 
dy: APO), M:=| APCO], ho:=0, 
(4) 如 果 t=0， 则 
l h:=[ 24e/M]"*; 


AM, LAA 为 初 值 用 Newton iE RRD E 
Ch +h pk? = 24e/M, 
得 正解 h. 
(5) h:—min{h,1—t}., 
(6) wF t=0, M 
oi=H; + AMVCOR + 3 ACODA? + ACOA"; 
否则 
Aoi Ar +d Ch + hy) +A- Ay t+ dyhy Ch + he) /h2 
+[hoCdi +d) -2C — Ay) jC + hy)? h/ Rs . 
(7) 求解 线性 方程 组 


(Agi -ACt+h))y=x, 
fiy, Rig | 
xo:= y/ ly lle. 


(8) 对 B= ACC+H A x, 应 用 算法 3.1, tH Xp 1X, 和 vi。 
(9) H T= ACE+A Ay, EHRE. 2, AGO,), 
CLO MNAGO,) =1Axf_ix,>-0, RGO) =i- LHX? x, <0, 


则 
X= Xp, :一 了 
否则 
h:=h/2, 
Fe (6), 


GI) MR t+h=1, WRU x, A, Bees 否则 
Oi LA- Aol, M:=246/Ch+h,)*h?, 
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hih, Ar=Aa, d=d,, 
1 一 1， da=xT(A- D)x, t=t+h, 

转 步 (4)。 

这 一 算法 保持 原始 矩阵 4 始终 不 变 ， 而 且 各 对 特征 元 素 的 计 
算 相互 独立 ， 因 而 特别 适用 于 并 行 计 算 ， 此 外 ， 李 天 岩 等 还 进行 
了 数值 试验 ， 就 他 们 的 例子 而 言 ， 效 果 是 非常 好 的 ， 其 速度 比 著 
名 的 QR 方法 还 要 快 〈 平 均 快 6 到 7 倍 ), 详 见 文 献 L48]， 但 是 否 
真 的 如 此 ， 还 有 待 实践 的 进一步 检验 ， 


习题 
1. KRZA. 
- 2 I 0 7 
i 0 3 | 
A= 3 4 1 
: 1 1 


有 多 少 正 特征 值 ? 

2. Rayleigh PRCA: 

(1) Hy, = XEAX,, 

(2) 求解 方程 组 (4 — 4D Zeit = Xk， 得 zk+1， 

(3) p41 = Zt1/ 2xrr ie, 
ZE K=0,1,2,0%, ABBE n MRS RK, ~ CR" 满足 
Ito l= 1. WER: 

(1) 对 任意 的 K， 存 在 2E144)， 使 得 

[He A|S lZk fas 
(2) 对 任意 的 初始 向 量 x, lim Hy 总 是 存在 的 。 
3， 设 f(t) = [t+6]t?， 其 中 30。 证 明 ， 对 于 任意 的 正 数 

a, FENO o AME 的 正 根 。 并 给 出 求 此 正 根 的 数值 方法 。 


. 证明 定理 3.1。 
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a ie Lanczos FF 法 


$1 Lanczos 和 迭代 及 其 基本 性 质 


这 一 章 ， 我 们 来 介绍 适用 于 求解 大 型 稀 芷 对 称 和 矩阵 特征 值 问 
题 的 Lanczos 方法 。 

设 AESR””*。 大 家 知道 ， 求 4 的 特征 值 和 特征 向 量 的 大 多 
数 方法 都 要 先 将 4 三 对 角 化 ， 即 求 一 个 正 交 矩阵， 使 得 

和 =QI40 C1.1) 

为 对 称 三 对 角 和 矩阵 .实现 三 对 角 化 的 最 常用 的 方法 是 Householder 
变换 法 。 但 是 ， 当 4 为 大 型 稀 杖 矩阵 时 ， 这 一 方法 变换 过 程 的 中 
间 扼 阵 很 快 就 失去 了 稀疏 性 ， 需 要 占用 大 量 的 内 存 ， 这 无 疑 给 处 
理 大 型 稀疏 对 称 和 矩阵 特征 值 问题 带 来 了 一 定 的 困难 。 当 然 ， 对 于 
Fe US Ke RG A A BRE A, EFA Givens 变换 来 实现 三 对 角 化 ， 
FEE FB BE PY ORD ABE PERO A ASAP, 利用 任 
何 一 种 逐步 变换 的 方式 来 实现 三 对 角 化 ， 都 是 难以 保持 约 化 过 程 
的 中 间 和 矩阵 的 稀 朴 性 的 。 因 此 ， 要 想 充 分 利用 稀疏 性 尽 可 能 减少 
内 存 的 占有 量 ， 就 必须 采用 直接 计算 人 和 @ 的 元 素 的 方法 来 实现 
三 对 角 化 ，。 | 

设 分 解 式 (1.1) 已 求 得 。 记 

Q= Lis Jasan], 


a Bi 
Br `n 0 
T= . 
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比较 
AQ = OT 
两 边 和 矩阵 的 每 一 列 ， 可 得 
Aq; = pi-194i-1Taigi t+ 有 igirl 1= 1,2, en, 
(1.2) 
这 里 约定 fo9qo = Bnin = 0。 再 根据 94 的 相互 正 交 性 ， 从 (1.2) 
易 得 
ci = 91Aqi, (1.3) 
By = 44149; = IAQ: ~ 84-19-1219; Me (1.4) . 
反 过 来 ， 对 任意 给 定 的 91 世 R"，191 上 =1， 由 (1.2) 一 (1.4) 
就 可 递 推 地 产生 41,9; 和 pi。 具体 写 出 来 就 是 : 


a,=qtAq, 
= Aq, —a;4; — By-19;4-1 € Bodo = 0), 
Bi = Ir; lle» 


. (1.5) 
Gi41=17;/B8;, (ps0)， 


Gia. G3 4: AGg ais 
1=1,2,°%,n—-1, 
这 就 是 著名 的 Lanczos AK, tH Lanczos 在 1950 年 首先 提出 的 ， 
其 中 的 9; 称 作 Lanczos fa) Ht, 


现 记 
Qj;= [t] 
a 有: 
Br h `s 0 
T j= ree 9 
0O ,Qj-1 By-i 
- ' Pi- aj 
ME. 5D BEEREK A 
AQ; =Q;Ti +752}; (1.6) 


通常 称 了 ;为 了 阶 Lanczos EE, 
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定理 1.1 设 4;,0;,Bi Æ H Lanczos & {EC . 5) Meee ie 
91 出 发 而 产生 的 。 则 有 : 
(1》 存 在 正 整数 m 使 Bm = 0 而 Bi 500i <m- 1) 的 充分 必 
要 条 件 是 
E m= dim(%» (A,q1,7)), 
其 中 CA, aiyn) = span{q,, Agi, An- 191 
(2) HERRI, 1<7<dim.¥(A,9,,), A 
0310j=1 H #0O)= HCAs), (1.7) 
HRCA, 9157) = span{q,,Agi,e%, AI 191}。 
证 明 ” 先 证 对 任意 的 ) iin, WB 
Bis0， i=1,2,%,j-l1, 
就 有 (1.7) 成 立 。 
对 i 应 用 归纳 法 . | 
当 7= 1 时 ， 显 然 有 上 述 结论 成 立 。 现 假定 对 i = Kk 已 证 上 述 结 
论 成 立 ， 我 们 来 考虑 7= +1 的 情形 。 
首先 在 (1.6) 两 边 左 乘 O02， 并 令 1=X， 再 应 用 归纳 法 假定 
QkQxk = fr， 可 得 
© ORAQ = Th + OFT kek. (1.8) 
其 次 由 (1.5) 知 
@;=475AG;, i=1,2," ,Kk. (1.9) 
而 QEQk = [x 即 为 491,…,9k HER, BA 
Bi= Pidi iy 
= 47.:€AG; — 0i19;— Bi-19; 1) 


=4f, Aq; i= 1,2,0,k-1; (1.10) 
Qi AG; = WCBi9i43 +459; +68;-19;-=0; 


kèl>i+2, 1= 1,2,°%,k-2, (1.11). 
从 C1.9) 一 《1.11) 即 知 : 
OR AQ = Tke (1.12) 
将 (1.12) 代 入 (1.8)， 即 得 
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Ofrke=0。 (1.13). 
ii te= Belee1 Hh Be =0, RA l i 


Qkar+1= 0. 
这 样 
Qk 
T — 
Qk+iQk+ 1 一 Bs | LOn>Tke i] 
OOk = Qk Iker 1 
= | T T | 一 Ika le 
d+ ner keiki 
由 于 
FQ.) = Yq A, KR), 
所 以 


qur1= Be CAIK- akip — Bk-19k- DE HAG K+1). 
FRE RB] dim(.#(A,9,,4+1)<k+1, 而 919°°*s9e+ AEX, 
即 有 .多 (Okp 1) = ZCA, 9 天 +1T)。 

现在 ， 剩 下 的 只 需 证 明定 理 的 结论 (1) 成 立即 可 。 

先 证 必要 性 。 设 正 整数 mn 使 Bm = 0 而 p50, 1<i<m-1, 
则 由 (C1.6) 知 

AQm= OnTn。 

这 也 就 是 说 (Qn) 是 A 的 一 个 不 变 子 空间 . 但 前 面 已 证 


BOm) = PA, qm), 
从 而 必 有 
HAIN M = 党 (4 qm), 
于 是 
dim Z C(A, qn) =m, 

FEURFCA HE. BE m=dim( Z (A,qn)). M) 对 于 任意 的 i， 
l<i<m-1, HA BPS. REA, 否则 由 必要 性 所 证 知 ， 
dim( 多 (4A,91,n)) 将 严格 小 于 m。 此 外 ， 亦 必 有 pm = 0; 否则 将 
又 有 dm (CANN) PARA FT m. TER, | 
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这 一 定理 说 明 ， 如 果 Lanczos 迁 代 过 程 恒 有 Pi 关 0(1= 上 ,2，…， 
?一 1)， 则 所 产生 的 Qu = [1,… ,49nJ 和 全 ,将 满足 
QrAQn=Tn 和 QnOn= Jn， 

即 实 现 了 三 对 角 化 。 而 Lanczos 选 代 过 程 保 持原 始 矩 阵 A 始终 不 
变 ， 并 只 涉及 到 4 与 向 量 的 乘积 ， 因 此 可 以 充分 利用 4 的 稀 朴 
性 。 

an A Lanczos flit HMB 8j = 0， 则 对 于 求解 特征 值 问 题 而 
Beta AAAS. LER AIER T; 的 特征 值 都 是 4 的 特征 值 . 
然而 实际 计算 时 18 ;| 很 小 的 情形 都 是 罕见 的 ， 这样， 我 们 就 自然 
希望 知道 何 时 了 ; 的 特征 值 可 作为 4 的 近似 特征 值 ， 这 就 需要 研 
AT; 的 特征 元 素 与 4 的 特征 元 素 之 间 的 关系 。 为 此 ， 先 引进 几 
个 概念 和 记号 。 | 

从 定理 1.1 可 知 ，Lanczos 第 阵 T ;, Lanczos fi] ta HiPEO ;及 A 
之 间 有 如 下 关系 

T:=Q}AQ;. 

因此 ， 又 称 了; 为 4 在 子 空间 多 (0;)= ZA, i D ELMER. A 
T; 的 特征 值 为 


' | Hyh KEH jy 
对 应 的 特征 向 量 分 别 为 

YI ji。 
当然 ， 假 定 

yiy1=6i1, 

Z= Q; 1!=1,2,.,7, (1.14) 

WW BRe , 和 z; Ay A Ke -F Krylov + 33 fa] 4 (A, 491.) AgRitz (i AiRitz pay 
g. 


对 于 Ritz 向 量 ， 容 易 验证 如 下 性 质 : 
Q) zTzk=ĝ;k, tisk= 1,2,1,3 
(2) ZTAZk=H;ĝiks K= 1,250 573 
(3) span{z,,++,2;} = #(Q;). 
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”定理 1.2 设 p; 和 zi 是 A 关于 于 空间 YC4,94, 站 的 Ritz 值 和 
对 应 的 Ritz 向 量 。 则 | 
[A2; -Hizi la= 185119: gl, (1.15) 
其 中 7, ;=yTe;, WN 9 是 了 ;对 应 于 4 的 特征 向 量 yy Heat 
分 量 。 . 
证 明 £FAU.ORLA Ry;, WA 
AQ: Yi =Q;T Ys +7 5°59 a> 
注音 到 z; = Qjyi，Tjy; = HY EAMA 
AZ; — Hi2i =r; jije 
上 式 两 边 取 2 范 数 ， 并 注意 到 |rjila= B86;， 便 有 (1.15) 成 立 。 
推论 1.1 对 于 任意 的 i ， 必 存在 A 的 一 个 特征 值 4 使 得 
[AH [Sllln Gl, (1.16) 
其 中 uipi 7, 如 定理 1.2 所 述 。 
证 明 v= Az; 一 hi2;， 则 有 
CA-v2t JZ; =H Z;> 
HEP Az, 是 和 矩阵 4 一 v2 了 的 一 对 特征 元 素 ， Hy Bauer Pikeze 22, 
必 存 在 4 的 一 个 特征 值 使 得 
C AES ARS R 
再 利用 定理 1.2 即 得 推论 1.1 的 结论 。 
推论 1.1 表 明 ， 如 果 计 算 到 某 一 步 了 ， 了 ;的 特征 值 请 所 对 应 
的 特征 向 量 y; 的 最 后 一 个 分 量 ?; ;和 pi 的 乘积 0 六 6 之 绝对 值 很 
小 的 话 ， 那 么 上; 就 是 4 的 某 个 特征 值 4 的 很 好 的 近似 值 。 因 此 ， 
这 提醒 我 们 在 用 Lanczos k 代 求 4 的 特征 值 时 ， 有 可 能 在 选 代 的 
中 途 就 可 求 出 和 A 的 某 些 特征 值 的 很 好 的 近似 值 。 当 然 ， 这 对 实际 
计算 大 型 对 称 特征 值 问 题 时 是 非常 有 利 的 。 


§2 Kaniel-Paige-Saad 理论 


上 一 节 ， 我 们 已 经 通过 简单 的 分 析 揭 示 了 在 一 定 条 件 下 
312. 


Lanczos 售 阵 T ;的 某 些 特征 值 是 4 的 某 些 特征 值 的 很 好 的 近似 值 。 
但 是 ,并 没有 说 明 它 是 4 的 哪 几 个 特征 值 的 近似 值 ,也 役 有 说 明 随 
着 7 的 增加 ， 其 逼近 程度 将 如 何 变 化 。 这 一 节 我 们 就 来 介绍 这 方 
面 的 一 些 较 深入 的 结果 Kaniel-Paige-Saad 理 论 ， 

S.Kaniel 于 1966 年 首先 给 出 了 Ritz 值 的 一 种 收敛 性 估计 ,不 
过 证 明 中 有 些 错误 ，C.C.Paige 于 1971 年 在 其 著名 的 博士 论文 中 
又 重新 研究 了 这 一 问题 ， 不 仅 给 出 了 Ritz 值 的 收敛 性 估计 ， 而 且 
亦 给 出 了 Ritz 向 量 的 收敛 性 估计 ; Y.Saad 于 1980 年 在 Paige 工作 
的 基础 上 对 Ritz 值 的 收敛 性 给 出 了 比 Paige 更 简单 的 估计 。 因此 ， 
我 们 称 这 些 结果 为 Kaniel—Paige-Saad 理论 ，。 

先 引进 一 些 记号 和 定义 ， 设 了 ;是 7 了 阶 Lanczos ERE, HSH. 
二 … 去 所 是 Ti 的 特征 值 ， 对 应 的 特征 向 量 分 别 为 yj， 并 满 
是 yiyk=6ik，!1sk=1,2,…,7; 再 设 4 的 特征 值 为 1 委 … 近 14， 
对 应 的 特征 向 量 分 别 为 x ,… ,xXxn， XT Xk = Sik» 1,K=1,2,e%,n 
定义 


| 0; =arecos|xTz,|, i=1,2,",/, (2.1) 
其 中 z; =0;9; 2 Ritz ge, 适当 调整 x; 的 正 负 号 ， 我 们 可 
xTz,>0, t= 1,2,°57, 
由 第 一 章 定理 4.3 知 ， 
dist(.#(x,),.@(z;))=sin9,, (2.2) 
即 sin 9; 的 大 小 反映 了 .多 (z;) 与 特征 子 空间 .多 (x;) 之 间 的 远近 
程度 。 因 此， 我 们 要 了 解 (4;,z;) 与 特征 元 素 (4;,x;) 之 间 的 远近 
程度 ， 就 需 考 虑 sin 0; AA, - Ail 的 大 小 程度。 于是， 下面 我 们 
的 中 心 任务 就 是 给 出 sin 9 和 14; 一 4i | 的 上 界 估计 ， 
由 于 Ty= 0340;，0Q38j;= 7 了;， 故 由 第 一 章 的 定理 6.7 知 ， 
Ay; Zàni js i= 1,2,.,j, (2.3) 
因此 ， 有 
H-A; 220, 1=1)27。 | (2,4) 
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从 而 只 需 给 出 4， - 4; 的 上 界 估 计 即 可 ， 
定理 2.1 设 9, 如 (2.1) 所 定义 ， 则 


i-1ı 
H; - À; + X Gia — Ax) sin’, 
sin? 0, < A (t= 1 
| (2.5) 
证 明 将 z; 按 x1,…,xn 展开， 得 
n n 
Zi = 人 1oikxks Dale = l. 
k=1 k=1 
由 0 ;的 定义 知 
cos 0,= X12;=Q,,;。 
所 以 | 
. i -1 n 
sin? @,=]~-a?,= DICH + 5 OF ke (2.6) 
k=1 k=i+1 


此 外 ， 从 Ritz 向 量 的 定义 易 证 


n 
K; = 2 AZ; = ea Ake 
k=1 


从 而 有 
Hi- 41;= DE Ak Ae es 
k=1 
于 是 
i-l n 
Hi- Ài +>) CA; Arai R= > CA, — A; )@?, 
k=1 k=g+1 
> (Ager A) D, alpe (2.7) 
. ki 
由 (2.,6) 和 C2.7) 得 
i-l Hi- Ài + >)? Ai- Ag) 
sin? @,< S)a?, + kl oo 
k=1 Ageia; 
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i-l 
H; ~A; 二 Ci) 


= tt .8) 
A (2.8 
另外 ， 福 意 到 cos 6, = zkxx， 故 xx 可 表示 为 
Xp = 2, COB Or +u, Sin fy, k=1,2,.",1—1, 


其 中 好 是 在 鼠 与 zx 所 生成 的 平面 内 与 zx 垂直 的 单位 向 量 。 这样 ， 
Mixkit, Æ | 
Q,,= 21x, = 2Tu, sin 0gs 
从 而 有 
aĵ p Ssin? pp, k=1,2,+,k-1, (2.9) 
将 (2. 9) 代 入 (2， 8) 即 知 (2.5) 成 立 。 证 毕 。 
对 于 任意 的 BE SR"*"， vE R", vO, ÆX 
Pw; B) =vTBv/vTv, (2.10) 
A Br IRB BE B TRE v (Rayleigh W. 
引 理 2.1 HERDER AKKOL), AER MAES AR 
VE ZCA, Gis JX Cspan{z,,2,.,})°, 有 
| — Ak ZPW; A- ART). (2.11) 
证 明 ”由 于 
P(V;A —Agl) = PCV, AD) -Àk 
只 需 证 Pp(v34) 宇 Kx ANAT, BES, FEM RE |e]. = 
因 


VE #CAsG»1) = span{zZ,,°,25}5 
且 
vz; = 0， “* t= 1,2,°+,k-1, 
故 2 可 表示 为 
j j 
v= Sizes Sova. 
ik i-k 
于 是 有 
T j 
PVs; A) =uTAV= (Drzi) A( 7:21) 
i=k i=k 
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~ = Du Yi T Sy = Hke 


512, 2 HERPA EP MARRS, 2,5 PCA E 
交 的 充 要 条 件 是 4 是 PORE, It 其 中 多 ;表示 次 数 不 超 过 的 
实 系 数 多 项 式 的 全 体 . 
证 明 充分 性 ” 设 p(4;)=0。 则 
PCAD= (A-L; DJA), GAVE Pj, 
mMIWDEF; BSF 
FAINE HCAs 57) = spanfgi 9;}, 
Fat, FEUER, 4 
- gCA)q = Q;u, 
这 样 ， 
zip(A)41 = YIOICA — pT)Q ju 
=yIT; -HDu=0. 
必要 性 设 zip(4)95= 0. FA PARRA 
PCA) =(CA-H;)ACAD +a, ACADE F5_-1, GER, 
则 同样 有 ve RG, (RACAL = 0,0. 这 样 ， 便 有 
0= zTPCA)4 = ayte,, 
但 对 于 了 ji， 由 于 其 次 对 角 元 素 L 均 不 为 零 ， 故 易 证 其 任 一 特征 
问 量 的 第 一 个 分 量 均 不 为 零 。 从 而 必 有 o=0, FÆ 4; 是 p(4) 的 
定理 2.2 HERH ARAKS <n, A 


qi = Seixas 二 0， 了 > = 1, 
pe} #1 


OH ~ ARS C An- Àk) > Ey 


i=k+l 


. xI =) (oz a> (2.12) 
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Aig Akai. 
Ager Ån” 


其 中 Cj 4 为 1 一 k 阶 Chebyshev ZMH, r= 
证 明 取 p(4)E.F ;1 为 


k-1 


pCA)= [A-DI GAVE Pjk FRE). 


记 y= p(4)9j。 则 显然 有 ve CAs). TREBI. 240 vc 
span{z,,*+,2,_,}*, 这 样 ， 由 引 理 2.1 即 得 

Hy ~ ARS PMS3A-— Axl). (2.13) _ 
而 PWs A= Arl) = 91p( A A hr DPCAYG /Leip A 


Se PCA DOA; — Ag? 


i=l . 


六 ep pA)? 


i=l 


n 


Dy Eia? 


CAn-An)d >) EG)? 
< rn ， (2.14) 


Tt n 


D(A 2X St 2 
D, EPPS max play)? 2 Fi 


i=-k+1l =s 让 = 天 + 


n 


<[Ho.- wy 5) ahmar, ICA. (2.15) 


i= kei isn 


于 是 将 (2.14) 和 (2.15) 代 入 (2.13) 即 得 


RnR 


v2 
— ARS ln -29| > =+] 


įi=k+1 
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k-1 max gA: 
ay | giz i 
[] See Et 2.16 
«TG GAR)? ‘ 


注意 ， 这 里 的 9(4)E 丈 j- 是 任意 的 。 因 此 ， 我 们 自然 希望 选择 
OCA) LE 

F - max 9A / IAk) 
尽 可 能 的 小 。Chebyshev 多 项 式 的 良好 性 质 使 其 正好 充当 此 任 。 
取 


24 一 4 An 
I= Cih" ha dene )， 


HPC ;x 为 1 一 K 阶 Chebyshev 多 项 式 ， 则 有 
IGA DSI, t=k+l1,e,n, 
而 


gCA,)?=(Cj-.C1 +2707, r= et, 


当 0<*<0.1 时 , 随 着 7 -~ 天 的 增 大 而 增长 的 非常 之 快 ( 当 0<r<0.1 
HG-WY TSIM, Cjr +2 exp- kV T). 对 


这 样 选取 的 g(x)， 由 (2.16) 立 即 得 到 (2.12)， 
” 注 2. 1 不 等 式 (2.12) 的 右 端 可 分 为 三 部 分 :第 一 部 分 为 


> s/t Bt WH aE i. 反映 了 qi 在 子 空间 
i >. 
Span{Xp,1 s" r Xn} 和 span {xx} 上 的 正 交 投影 的 大 小 之 比 3 第 二 部 
分 为 Gin = and [JCO -~ An)? / CHi 一 4k)*]， 主 要 由 44 5T; 的 特 


征 值 的 分 离 程度 决定 ; 第 三 部 分 为 [Cj.nCl1+27)J-":， 是 关键 的 
一 部 分 ， 它 反映 了 收敛 的 快慢 程度 ， 当 较 小 且 0<r<0.1 时 ， 
随 着 7 的 增加 而 减少 的 非常 之 快 。 

因此 ， 定 理 2.2 实 质 上 表明 ， 随 着 Lanczos 迭代 次 数 的 增加 ， 
T RR JLA REDEE > tes HeC k 较 小 ) 将 非常 快 的 收敛 到 4 的 前 儿 
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ASH DY MORRELL Ar eds 特别 ， 对 = 1，(2.,12) 即 为 

OSH NAn Atg A/C- +27), (2.17) 
Hh p= arccoslqTxi|， 由 此 更 容易 看 出 ， 随 着 7 I, 5A, 
之 间 的 差异 将 迅速 减 小 ， 

此 外 ， 对 于 一 A 应 用 定理 2.2， 可 知 T; 的 几 个 较 大 特征 值 
Hjkr HCkk 较 小 ) 将 随 着 7 的 增加 而 很 快 地 收敛 到 4A 的 儿 个 对 
应 的 较 大 特征 值 4 -potto An 特别 有 

OS An — Hp Sn - Atg’ YY/ Ci 1 +29)’, (2.18) 
Hp w= arecos|qtxal, O= CAp—An-1)/On-1- 4D, 即 说 明 随 
着 7 的 增加 ，7 5 的 最 大 特征 值 4; 将 非常 快 地 收敛 到 4 的 最 大 特征 
(An. 


§3 Lanczos 算 法 


前 两 节 对 Lanczos 和 迭代 的 理论 分 析 表 明 ,我 们 可 以 利用 Lanczos 
选 代 来 求实 对 称 矩 阵 4 的 某 些 特征 值 和 对 应 的 特征 向 量 ， 求 解 过 
程 可 归纳 为 如 下 四 步 ， 

第 一 步 ” 利 用 Lanczos 迭代 1.5) 产生 一 列 对 称 三 对 角 甜 阵 
Ts i=l, 2, 

二 步 对 菜 kEm, HERE TAA AER ARIEI 

#29 选择 这 些 特 征 值 中 的 某 些 个 作为 4 的 近似 特征 值 ， 

第 四 步 ” 如 果 对 应 的 特征 向 量 亦 需 要 ， 则 对 第 三 步 选 定 的 每 
个 特征 值 w， 求 对 应 的 Ritz 向 量 > CA eke SOW Tu = Ju， 再 
计算 z= Oku?， 然 后 以 = 作为 A4 对 应 于 4 的 近似 特征 向 量 。 

对 于 第 二 步 和 第 四 步 已 有 不 少 快 速 有 效 的 数值 方法 可 以 利 
Al. 例如 ， 可 用 二 分 法 或 对 称 QR 方 法 求 Th WRIA: WARE 
法 求 Tx 对 应 的 特征 向 量 . 

关于 第 一 步 ， 利 用 (1.5) 中 某 些 量 的 等 价 公式 可 设计 不 同 的 
数值 方法 加 以 实现 。 而 从 数值 性 态 的 优 劣 而 论 ， 较 好 的 方法 是 ; 
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算法 3.1 
CL) WA ACSR™*, GER" Qals D. 
(2) uy=Ag,, j=l, 
C3) 259 了 4 让 Ty uy— 9595, By Nr ghee 
(4) 如 果 6 ;= 0， 则 结束 ; 否则 
qj; Bis Uja 5A 5.1 B55 
P=jtl, BH (3)， 


3 — BEE BET Ve Se EL OA Sv 的 乘积 4v 
上 。 在 实际 使 用 时 ， 应 根据 4 的 具体 特点 ， 设 计 一 个 计算 Ar 的 
子 程序 ， 使 算法 3.1 的 运算 量 尽 可 能 的 少 。 

如 果 算 法 3.1 是 在 没有 舍 人 误差 的 情况 下 执行 ， 则 所 得 到 的 
Lanczos 向 量 91,… ,9; 是 相互 正 交 的 ， 而 且 至 多 7 步 必 然 终止 。 
但 是 ， 在 误差 出 现 的 情况 下 ， 计 算得 到 的 Lanczos 向 量 的 正 交 性 
很 快 就 会 失去 ， 有 时 其 至 还 是 线性 相关 的 。 因 此 ， 长 期 以 来 人 们 
一 直 认 为 这 一 方法 是 数值 不 稳定 的 ， 很 少 用 于 实际 计算 。 直 到 
1971 年 ，C.C.Paige 在 他 著名 的 博士 论文 〈 兄 文献 [53]) 中 ， 通 
过 仔细 的 伟人 误差 分 析 ， 发 现 了 失去 正 交 性 ， 愉 与 近似 特征 值 的 
精度 提高 有 关 。 之 后 ， 人 们 又 做 了 大 量 的 理论 研究 和 数值 试验 ， 
充分 认识 到 ，Lanczos 方法 对 于 求 高 阶 稀疏 对 称 和 矩阵 的 特征 值 来 - 
说 ， 是 非常 有 效 的 方法 。 现 在 ，Lanczos 方法 已 经 成 为 求解 大 型 
稀 酰 对称 和 矩阵 特 征 值 问 题 的 最 常用 的 方法 之 一 。 

下 面 我 们 就 来 介绍 Paige 的 误差 分 析 结 果 。 设 算法 3.1 在 机 
器 精度 为 8 的 计算 机 上 执行 了 天 步 。 记 Ok = [91,… 9] 和 


1 0 
By â, `, 
全 =| E me, ms 
“。 Ê B E 
0 . k-1 k-1 
| i Bye ay, 


分 别 为 Lanczos [al RE QO, = 591,*… ,9xk F0 Lanczos ihe Ty ie 
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o= Ale eo =[]A} le (3.1) 
£20 = 2Cn +4)e, 21 =20(7+ma)e, (3.2) 
€,=v 2 max(6Eo,£1); (3.3) | 


其 中 |4| 表 示 A 的 元 素 取 绝对 值 之 后 得 到 HJIRRE, m A ARJIT 
所 具有 的 最 多 的 非 零 元 素 的 个 数 。 
Paige 误差 分 析 的 主要 结果 为 〈 见 文献 L[56]): 
定理 3.1 如果 KCEE Sl, &oX<1/12, WA: 


(1) AQn = Onn + hrdrrek t+ Pr, (3.4) 

其 中 FeLi f Te 
Hih 1=1,2, 008 ,Kk; (3.5) 
(2) [9791 -1|<3eo (3.6) 
Bil9T9i11|<2060, t= 1,256 (3.7) 
(3) TR, — RP = POFo ek (3.8) 

其 中 Rk 是 上 ,的 严格 的 上 三 角 部 分 ， 即 

DEO, = RE +diag( O10;) + Rr, (3.9) 

有 :是 上 三 fase, HWE 
|H ple koe,, (3.10) 


这 一 一 定理 的 详细 证 明 ， 读者 可 参看 文献 [55], 

由 (3.4) 可 知 ， 重 要 等 式 (1.6) 已 经 计算 到 机 器 精度 ; (3. 6) 
说 明 计算 得 到 的 Lanczos 向 量 几 乎 是 单位 向 量 ，(3.7) 指出 在 有 
不 很 小 时 ，9; 与 9141 儿 乎 是 正 交 的 ;，(3.8) 是 对 计算 得 到 的 La- 
nczos 向 量 正 交 性 损失 程度 的 定量 刻画 。 

现在 我 们 来 考虑 误差 对 于 利用 Lanczos 方法 求解 特征 值 问题 ， 
的 影响 。 大 家 知道 ， 对 于 对 称 三 对 角 和 矩阵 来 讲 ， 已 有 不 少 相当 有 
效 的 数值 方法 使 计算 得 到 的 特征 值 达到 机 器 精度 。 因 此 ， 为 了 如 
免 在 下 面 讨论 中 符号 上 的 麻烦 ， 我 们 不 妨 假定 Pr 的 特征 值 和 特 
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征 向 量 已 精确 地 求 出 ， 即 假定 已 经 得 到 正 交 算 阵 
Y= E¥19° Yr] = [7, 1 E R***, 


和 对 角 和 矩阵 
ZL=digChyee pe), hy 
使 得 : 
T.Y =Y2. (3.11) 
定义 i 
Z= Âp 了 = 工 ,2，…) 天 。 (3.12) 
Fly AR (3.4) 的 两 边 ， 并 利用 (3.12), WAR 
Az; — 525 =BeQurileg + Fey je - (3.13) 


类 似 于 推论 1.1 的 证 明 ， 可 得 


min | Ai —B;] lta ot ike 


1<i< . 2 ;ls 


clre +E) + vk oes 
lz; ll. 
其 中 1 表示 A 的 第 工 个 特征 值 ， 最 后 一 个 不 等 式 用 到 了 (3.13)， 
(3.5) 和 (3.6)。 

(3,14) 表 明 ， 如 果 z jj: 不 是 太 小 ， 则 只 要 | fTxj1 很 小 就 有 
4j 是 4 的 一 个 很 好 的 近似 特征 值 . 

大 家 知道 ， 在 没有 误差 的 情形 下 ， 按 照 (3.12〉 定 义 的 zj 应 
该 是 单位 向 量 . .但 在 我 们 现在 讨论 的 前 提 下 ,由 于 正 交 性 的 损失 ， 
确实 会 出 现 lz je 很 小 的 情况 ,例如 ，Paige 〈 参 见 文献 [56]) 在 
11 位 十 进 制 数 系 的 计算 机 上 进行 数值 试验 ,观察 到 了 zy|, = 107° 
的 情形 。 

ERK, BARBS: 在 什么 条 件 下 | Br7x ;| 会 很 小 ; 
在 什么 条 件 下 1zjl :又 不 会 太 小 。 

在 等 式 (3.8) 两 边 分 别 左 于 好 和 右 乘 WTA, 

定理 3.2 ”在 定理 3.1 的 假设 下 有 
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; (3.14) 


zik = - 65 5/Prln js 3.15). 
其 中 
£5; =Y HY je (3.16) 
33,1 由 (3.10) 知 
le; | Ske. 
avers 15) HAA Ae ,| 很 小 的 充分 必要 条 件 是 Gn 与 zj 失去 了 
交 性 〈 即 它们 差不多 是 平行 的 )。 
定理 5.3 假设 条 件 同 定理 3.1。 则 有 
Ks/20e, Eo 


[izi= Sana; T (3.17) 


33.2 〈3.17) 表 明 , 只 要 Ai 与 其 他 Ai 不 要 太 靠 近 ， tele 
和 1 很 接近 。 例 如 ， 当 min|a; -Kyl 之 0X" 20e, h, 由 eo 过 去 从 


(3.17》〉》 就 可 得 到 
0.75 一 1z 放 > 一 1.25。 (3.18) 


而 条 件 min u; -46kwces 并 不 是 特别 苛刻 的 ， 例 如 ， 当 es 的 


B10, o 的 数量 级 为 102， 和 迭代 次 数 天 = 10: 时 ， 仅 需 1 
与 分 :的 其 他 特征 值 #; 之 间 的 距离 的 数量 级 不 小 于 10-? 即 可 

定理 3.3 的 证 明 需 要 用 到 对 称 三 对 角 阵 的 如 下 一 条 基本 性 质 。 

引 理 3.] 设 TeESR*** 是 不 可 约 的 三 对 角 和 矩阵 ,其 特征 值 为 
记过 pz 过 …< 之 pp, 对 应 的 单位 特征 向 量 作成 的 正 交 和 矩阵 为 Y= [yi， 
yk] = 门 。 则 对 任意 的 1 委 5 委 5 MLSS 有 

j-1 yy k Vig | 
"Te L310) 

其 中 vy <p, <<, HT MAH i 行 和 第 i 列 所 得 到 的 -1 阶 
年 阵 的 特征 值 . 

证 明 设 pC(4) 为 了 的 特征 多 项 式 ，4(47) 为 了 划 去 第 “和 行 第 
i 列 所 得 到 的 天- 1 阶 和 矩阵 的 特征 多 项 式 . 


323 


对 于 任意 的 4 乞 4T)， 有 


A- = = 元 


其 中 adjal- T) RIRAL -T 的 伴随 矩阵， 另 一 方面 ， 


, 1 7 
(Al T) = Yaiag(5 og pp gem) 


adj(Al —T), (3.20) 


(3.21) 
JA(3. 20) #3. 21) AY FH o 


adj(al -T) = Yaiag( 2 ere yr, (3.22) 


由 于 4; 互 不 相同 ， 伴随 矩阵 的 元 素 是 4 的 连续 函数 ， 故 在 (3.22) 
两 边 令 1 趋 于 4， 可 得 


adj(u;I.— T) =p! (HY jY}. (3.23) 
比较 (3.23) 两 边 抢 阵 的 第 让 个 对 角 元 素 ， 得 
qp 1) =p Ch je (3.24) 


由 (3.24) 立 即 知 (3.19) 成 立 。 

推论 3.1 假设 条 件 同 引 理 3.1。 则 对 任意 的 ik AS 
<k, URT Zi-1 WEE TBE ERE eS, DEE 
6,,;€fL0,1I MP RIC), ISISI Sk, (ER 


0 = jr te (3.25) 


证 明 由 第 一 章 定理 6. .7 知 ， 
| eters Vy 1S Hke 


na (3. 19) 右 边 乘积 中 的 每 个 因子 都 大 于 等 于 零 而 小 于 等 于 

。 再 注意 到 人 的 5-1I 阶 顺序 主子 阵 的 任 一 特征 值 都 是 卫 划 去 第 
; 行 和 第 i 列 所 得 矩阵 的 特征 值 ， 故 必 有 茶 个 指标 iCr ) 使 得 v 107) 
=p POSS -1) Mey yi =e VG HISIS). iX 
样 ， 将 (3.19) 右 边 除去 因子 CH= BGP )/ Cj- Bary) 之 后 剩 下 
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的 因子 的 乘 积 记 作 91 itr)， 则 ;CODEef0,1]， 且 有 《3.25) 成 
The 
定理 5.3 的 证 明 从 (3.9) 可 得 
Pe NS EO (3.26) 
再 由 (3.6) Bl (3.26) 右边 的 第 二 项 之 绝对 值 小 于 ‘9? 这 样 ， 
欲 证 (3.17》 成 立 ， 只 和 需 证 
koe, 


RY; | SQmin|u, - H; 


ixj 


[yk 下 (3.27) 


All Fy , 

记 PA Pta t WY 序 主 子 阵 ， ,=Fr0 wa;] 并 假定 Îi 
的 Schur 分 解 为 

全 = 

其 中 Yi [P pe PISJE REY MER, Ay = diag Hit) sm 
BYE), yin < 

由 Ri 的 定义 知 ， 它 的 第 t+1 列 前 t 个 元 素 作成 的 向 量 为 

ÔT =Y lle he 01=Y bes 

其 中 bt =Y ara 由 定理 3.2 知 5 的 第 7 个 分 量 为 


elb, = — et / CB mt ， 
其 中 
et) = y PTH yH, (3.28) 
因此 ， 
k-! Yb, 
Riri = Daat] | 1 l 
t=1 
. t) yy?’ 
= SM > nit Yj i |. (3.29) 
` bel ` 
此 外 ， 由 于 
yy y 
tl ' |- wef | + Meeg, (3.30) 
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其 中 et: = (0,1,0, sl 05% OTTER, KA 


(t) 


yf 
TE 0 |= AARM. (3.31) 
把 (3.31) 代 入 (3.29) 即 得 
ett) 
ITRY; = -Sa a der AG? (3.82) 


再 由 推论 3,1， 对 每 个 1,r 和 7 TELE Onr © (0, LIAB HR iC7》 
x7 使 得 . 
BoP 
NE si] = 94 445 O do 


E jT Hicr) 
RA (3.32) 即 有 


k-1 t ti 
Ef 
YURI 5 = 一 > > ， Er PROP 
fai rey YS her) 


所 以 
(t) 


Err 
IFRI; <>; St — hecr) | 


=I 7=1 


San sar È DIM 。 (3.33) 


t=1 r=] 
由 (3. 10) 和 Frobenius 范 数 的 酉 不 变性 知 ， 
(Diei) Der 


= tH ,<tore?, 


从 而 
k-i t k-1 t 
(> Soles?) < DD (Dy) 
fa] Tel teal ‘r=1 ‘ 
. k-1 
i <(k—1) Doe 
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=+ Ck 1) ote} < 全 saze3。 (3.34) 


把 (3.34) 代 入 (3.33) 即 得 (3.27?。 亦 即 (3.17) 成 立 。 证 毕 。 
从 这 一 定理 证 明 中 的 等 式 〈《3.30) 知 ， 对 任 意 的 1<t<k 和 
人 ;的 任意 特征 值 oY, WAT ARE 4 EG 
CPTM EST AIT (3.35) 


HW, ARIA Bh, M PEE A RRR E, 
则 后 面 继续 计算 得 到 的 Lanczos Fife, >D KA REA SHY? 
很 靠近 作为 4 的 很 好 的 近似 特征 值 ， 当然 ， 这 对 实际 计算 是 有 益 
的 ， 可 望 k 愈 大 , 个 ,的 特征 值 中 就 会 含有 人 铺 多 的 4 的 较 好 的 近似 
特征 值 ， 实 际 计算 的 经 验 也 确实 证 实 了 这 一 点 。 人 们 发 现 : “k 
充分 大 时 ,四 含有 4 的 所 有 相 蜡 的 特征 值 。 这 就 是 所 谓 的 Lanczos 
RR. 由 于 误差 的 影响 ,其 中 的 K 可 能 远 远 大 于 矩阵 4 的 阶 数 7， 
到 目前 为 小 ，Lanczos 现象 还 没有 得 到 严格 的 理论 证 明 。 在 
Cullum fu Willoughby (1985) 关于 Lanczos 算法 的 专著 中 ， 利 用 
Lanczos 迭代 与 共 力 梯度 法 之 间 的 等 价 关 系 ， 曾 对 Lanczos 现象 作 
了 一 些 理论 上 的 解释 。 由 于 篇 幅 所 限 ， 这 里 我 们 不 打算 对 此 作 详 
细 的 介绍 ， 有 兴趣 的 读者 可 参看 文献 [29] 的 第 四 章 。 
对 于 4 的 某 一 指定 的 特征 值 4， 究竟 K BAKE. AA SHAE 
常 靠近 的 特征 值 呢 ? 一般 来 讲 ， 这 主要 取决 于 A 的 特征 值 的 分 布 
和 情况， 取决 于 4 与 其 他 特征 值 的 分 离 程 EUR AR ADEE 
《 即 [amin《4),4max《4)]) 内 所 处 的 位 置 。 粗 赂 地 讲 ， 位 于 区 间 
两 端 且 分 离 较 好 的 特征 值 4， 在 Kn 时 分 的 特征 值 内 就 含有 7 的 
很 好 的 近似 值 ， 位 于 区 间 内 部 而 又 与 其 他 特征 值 分 离 的 不 好 的 特 
[EIE A, Hen, 个 .的 特征 值 中 才 会 有 4 的 较 好 的 近似 值 ， 分 离 
较 好 的 特征 值 较 分 离 较 差 的 特征 值 较 早出 现 、 
因此 ， 当 我 们 只 需 计 算 大 型 稀疏 对 称 托 阵 4 的 少数 几 个 两 端 
SAE, HR RBARRD ILA an), 7, 的 两 端 特 征 值 就 
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是 A 的 两 端 特征 值 的 很 好 的 近似 值 。 根 据 Parllet 的 经 验 ( 参 见 文 
MRCS7 | 25957), 4n=10'Rt, HK =300, MEST RH 10 个 A 的 
两 端 特 征 值 和 对 应 的 特征 向 量 的 很 好 的 近似 值 。 而 当 我 们 需要 求 
4 的 全 部 特征 值 时 ， 一 般 要 远 远 大 于 7n 才 行 。 在 Cullum 和 Wil- 
loughby (1985) 的 专著 里 介绍 了 大 量 的 数 值 例子 ， 他 们 的 经 验 
(参见 文献 [29j 第 148 页 ) 是 ， 对 绝 大 多 数 矩 阵 来 讲 ， 只 需 K 志 3n， 
就 可 求 出 其 几乎 全 部 的 不 同 特征 值 达 到 机 器 精度 的 近似 值 。 

在 实际 使 用 Lanczos 方法 求解 对 称 和 矩阵 的 特 征 值 问题 时 ， 还 
有 不 少 实际 问题 需要 解决 。 而 叙述 这 些 问 题 及 上 其 解决 方法 义 需 占 
用 大 量 的 篇 幅 。 因 此 ， 这 里 我 们 不 打算 作 进 一 步 的 介绍 ， 有 兴 
的 读者 可 参看 Cullum 和 Willoughby 所 著 专 者 (文献 L291) 的 第 


四 章 ， 


$4 求解 对 称 线性 方程 组 的 Lanczos 方法 


这 一 节 我 们 来 介绍 Paige 和 Saunders (1975) 给 出 的 求解 对 
称 线性 方程 组 的 Lanczos 方法 (参见 文献 [54])。 
设 4ESR"*"* 非 奇异 ，bE R" 非 零 。 我 们 来 考虑 线性 方程 组 
Ax =b, | (4.1) 


大 家 知道 ， 在 A 正定 的 情形 ， 我 们 可 以 用 H Se 梯度 法 求解 
(4.1); 如 果 取 初始 向 量 x = 0, MRE 度 法 第 Kk BRITE 
的 近似 解 闵 是 二 次 泛 国 
P(x) = SxTAx x7 
在 Krylov 子 空 间 2 ¢(A,5,k) 上 的 极 小 点 ， 而 且 如 果 假 定 91,*…， 
49x 是 %Y(A,b,kK》 的 一 组 标 礁 正 交 基 ， 则 有 
Xk = Qn, (4.2) 
HE Qk = 591,*… dels YENDEA 
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QEAQ yk = OEE (4.3) _ 


的 唯一 解 。 可 是 ， 在 4A 非 正定 的 情形 ， 共 轿 梯 度 法 可 能 在 还 没有 
求 出 方程 组 〈4.1) 的 解 之 前 就 发 生 中 断 。 然 而 ， 如 果 我 们 按照 
(4.3) 和 (4.2) 来 定义 方程 组 (4,1) EFAA, b, k) ERE 
似 解 Xx 的话， 则 不 管 A4 是 否 正定 ， 只 要 方程 组 (4.3〉 是 相 容 的 ， 
就 可 进行 。 此 外 ， 当 k=m=dim(.%(A,b,n)) 时 ，(4.3) 必 相 容 ， 
而 且 还 有 Ax, =), 
Kie, WERTER HEA AERA, b ORERE, 
并 使 得 方程 组 (4.3) 容易 求解 的 话 ， 就 可 望 得 到 求解 (4.1) 的 快 
速 有 效 的 方法 。 根 据 Lanczos 迭代 所 具有 的 特性 可 知 ， 我 们 正好 
可 以 利用 Lanczos 迭代 来 完成 这 一 任务 。 
Bg, =87/ zl， 并 假定 已 利用 Lanczos 迭代 产生 了 Lanczos 
ERE 


ay Bi 
By Q °°, 
T= WO O h 
8) Oey Bent 
° © Pra Qk + 
”和 Lanczos 向 量 作成 的 和 矩阵 Qx=[91,…,49x]。 则 有 491,… ,qx 是 
%%(A,b,K) 的 一 组 标准 正 2H, 而 且 此 时 由 OFAC. Th 和 
b= 51291 可知 方程 (4.3》 就 变 成 了 
Tey = [ble i (4.4) 
这 是 一 个 系数 矩阵 为 对 称 三 对 角 阵 的 方程 组 ， 当 其 相 容 时 ， 是 非 
常 容易 求解 的 。 
但 是 ， 如 果 对 每 个 k 都 要 求解 (4,4);， 然 后 再 由 (4.2) 产 生 
xx 的 话 ， 在 计算 xx 时 就 不 能 充分 利用 xx 已 经 得 到 的 信息 ， 这 
势必 带 来 一 定 的 浪费 。 能 否 充分 利用 xx 的 已 有 信息 来 计算 xp. 
We? 这 是 我 们 下 面 将 要 讨论 的 中 心 问题 ， 
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现 假定 (4.4) 是 相 容 的 。 从 理论 上 和 数值 计算 上 来 看 ， 求 解 
(4.4) 的 较 满意 的 方法 是 正 交 分 解法 ， 即 先 求 Tx 的 正 交 分 解 


> T,=L,P x; (4.5) 
其 中 PrE RE, Le PSM: 然后 求解 方程 组 
Ly 2 = [bles (4.6) 


其 中 Zk = Pyr。 
分 解 式 (4.5) 可 以 通过 对 Tx 右 乘 上 -1 个 Givens 变换 来 实 
现 . 对 于 k=1， 有 
L=, P,=1, 
其 中 人 =a1。 现 假定 对 某 一 已 由 Kk 一 1 个 Givens 变换 确定 了 一 
MEZIRE Pr Et 


fe 
| 


2 Vo 0 i 
| E, 0 3 Ef | pa 
TP =! |= Lx. (4.7) 
, | e, l | 
| "。 
i ` Op_y Yk- 
! 0 k-1 k-1 | 
; L Ek Ôk Fk 
定义 
Y= PEHAR OC, ep = Pk, sp = Bk, (4.8) 
| Vk Vk 
Iki ` 
Jk= Ch Sk ER 
Sk —ĉk 
则 | 
T Pk 0 ne |r e | (4.9) 
ae 0 1 i oT Peoi |} 
k 1 


其 中 v= (Ose Orns One) ERE, Li 是 由 上; HP MM YZ 
后 得 到 的 下 三 角 阵 ， 从 而 
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了 +1 三 LkiiPkris 


这 里 
Pk 0 Lk 0 
< T = 
Presi n| 0 中 Dee DT Dec | (4.10) 
2, 和 zx 分 别 是 方程 组 
(4.11) 


Lrzk = lbiesi 和 LeZe = 12lae: 
之 解 ， 则 zk 和 zk 的 前 大- 1 个 分 量 必然 是 相同 的 ， 现 记 z= 


CF rset Ek E)T 和 zx = (Cy er a_i ek), 则 | 
Vash = PG ks (4.12) 


且 当 pxs0 和 时 ，yx 关 0。 再 记 


W,.= OxPE = [WwW Wk 1,8; ], 


则 
T 0 
_ T _ <- k 
| 0 a7 


= [Wy grr fr 
= [wist Wk Wk Dkr] 


其 中 


Wp, =C,W, +5,4 
k kk kfk+19 
Wk Z SEWER -OR Kile 


定义 


Ly, = [Wists Wy ]Zks 


则 易 知 / 
T= + swe (4,14) 


oA Al mA HE BB ey 4, 4.4) C4. DAAE x, 为 


Xk = Qryr =QkPhžk 

=[Ww Wk Dr |Z, 

=E W, + ee toy Wk I+ ED p 
= Ep + EkDE, 《4.15) 
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这 样 一 来 ， 从 PT = 1 Mw, = a, = 5/15 出 发， 就 可 用 (4.13) 递 
推 地 产生 w, FO Ds 再 由 (4.14) 和 (4.15) 就 可 逐步 产 Æ xy 
实际 计算 时 ， 我 们 可 先 不 去 求 xs， 而 只 用 (4.14) 递 推 地 产生 子 k， 
直到 计算 达到 一 定 精度 之 后 ， 再 由 (4.15) 计 算 xx。 因 而 ,这 就 
需要 我 们 寻找 如 何 来 判定 一 个 近似 解 是 否 达 到 一 定 的 精度 的 方 
法 。 从 理论 上 讲 ， 当 且 仅 当 Lanczos KAER Bx = ORT, XE 
是 方程 组 (4.1) 的 精确 解 。 而 实际 计算 时 ， 由 于 误差 的 出 现 , 即 使 
是 px 很 小 的 情 襄 也 是 非常 罕见 的 。 所 以 ， 我 们 必须 寻找 其 他 的 
判定 方法 。 
上 市 关于 Lanczos 算法 的 误差 分 析 的 理论 表明 ， 等 式 

AQk ~ OxT k= Prqrriek 
可 以 计算 到 机 器 精度 ， 而 对 上 式 两 边 右 乘 方程 组 (4 .4) 的 解 yi 可 
得 

Ax, — b= Bays il, 
POY 表示 yx 的 最 后 一 个 分 量 ; 从 而 | 

lAxp- blh = [Bia |. (4.16) 
Ak, BaF Be | Po ADR xx 是 否 达 到 精度 要 求 ( 因 
在 4 的 条 件数 不 是 很 大 时 ， 剩 余 很 小 就 表明 xx 已 是 方程 组 (4.1) 
的 很 好 的 近似 解 )。 但 这 里 ， 我 们 将 由 (4.15) 来 确定 e MER 
明确 地 将 yi 来 出 来 ， 因 而 直接 用 | Bk? 全 "| 的 大 小 判定 近似 解 x 
的 精度 是 不 实用 的 。 能 否 不 求 出 yx 就 可 把 分 量 OP TA RYE? 
答案 是 肯定 的 。 下 面 我 们 就 给 出 不 求 vx 而 直接 计算 ?全 的 方法 ， 

FFT, 是 实 对 称 的 ， 故 
| Tr = TE= PILY, 
因此 当 方 程 (4,4) 相 容 时 ， 有 
Liyx = lelsPre. 

比较 上 式 两 边 向 量 的 最 后 一 个 分 量 ， 可 得 

PpP = Yo leSiSeeeS pate 


HADA, AB XO, MAS SOs AmA: 0G = 1,2, 0, 
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k- 1) 时 ， 则 必 有 nai 因此 ， 有 


MO = 让 asisz sk_-iVK。 | (4.17) 
现在 记 4k = 18.1 |, FRERMBIG4-82), RA 
Ak = olalseesx_ 1sx/er|. (4.18) 


上 述 推理 亦 表明 ，(4.4) 相 容 的 充 要 条 件 是 f= KS 
价 于 det(T,)2<0 或 crss0。 
FEMA: $ do= 1，di = det(T,)， 则 有 
dir=; d; -Bidia i=1,2,°,k, 


故 当 ps0 (f= 1 2 时， 若 4 =0， VA di 和 4;-1 均 不 
HF DRAN 7 ;11 和 7 了 ;1 均 不 为 零 。 这 样 ， 据 (4.18)， 当 Pk 
Px 都 不 为 零 时 ， 有 


? 


Ce-18 
Ar = Ari a 5 


而 当 7, = 0 时 ， 


_ Ck 1iSkSk+1 
Arı = 4-1] 
Chad 


由 此 可 知 ， 当 遇 到 7 = 0〔 即 方程 组 (4.4) 不 相 容 〉》 的 情形 ， 
我 们 的 计算 仍 可 进行 下 去 ， 直 到 求 得 (4.1) 的 达到 精度 要 R 的 近 
似 解 为 止 ， 即 可 以 避免 中 断 的 发 生 。 

综述 上 面 的 讨论 可 给 出 用 Lanczos 方法 求解 对 称 线性 方程 组 
的 算法 如 下 : ` 

算法 4.1 

(1) RA Ab, REEERE, 

(2) B:=lblz qi=b/8, a=qTAq, 

r=Aq,~%, Bi:=lrl,, So:=0. 


(3) 如 果 6 = 0， 则 x= CHA, a 必然 不 为 零 )， 转 步 


C10); 否则 
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42:=7/ Bi, :一 6 £2:=0, 
yy (a? + p32)?, ci 一 ay S:=B1/¥15 
=B/Pyy W=; +8195 


@o'=8191 — ©1425 y= F,W,, Api Bf. 


(4) 如 果 cus0， 则 Ac= AD i=2; Bil i=2. 


(5) amq Aqi, riz Aq; -0il Bilio 


B::= iriz 
Ô ; <6, Ci 1 十 CS 1 
Pi:=6 ,8;_1— AiCi 


aren 
i= SiC ias 
yi 一 (7 +8, 
C= Pi /Pis 3 一 有 ii 
(6) 如 果 c; = 0， 则 转 步 (8)， 否则 
f Asileisi/cil, C¢;.1%0; 
A:=| B 
Ainali Si 18; /¢5 4, C¢;1= 0, 
(7) MBA; <e, MERO; 否则 进行 下 一 步 。 
(8) gi+1: 二 +/B， (此 时 5i 关 0， 否 则 有 ei 关 0 而 4; = 0)， 
wimb; +S di+1 
O i aasi; — City 
Eee C6 Fe tb Fs /Yi 
on tě; Wi, 
=i +1, RFG). 
L- ce, Ei 2+6;8;-1)/9;5 


Laz ;-1+ 6,0; 

(10) 输出 x , AE. 

这 一 算法 始终 保皇 4 不 变 ， 而 且 只 涉及 到 4 与 向 量 的 乘积 ， 
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i: 
(9) €,: 
x 


因此 可 充分 利用 4 的 稀 芯 性 ， 节 约 大量 的 内 存 ， 并 有 利于 并 行 计 
算 。 此 外 ， 实 际 计算 的 经 验 还 表明 ， 常 在 迭代 次 数 远 小 于 4 的 阶 
数 时 ， 就 可 给 出 A 的 较 好 的 近似 解 。 因 而 ， 这 一 算法 是 求解 大 型 
稀疏 对 称 线性 方程 组 的 一 种 有 效 的 方法 . 


$ 5 求解 非 对 称 线性 方程 组 的 广 义 极 小 剩余 法 


这 一 节 我 们 来 介绍 Saad 和 Schultz(1986) 给 出 的 求解 非 对 称 
线性 方程 组 的 广义 极 小 剩余 法 (参见 文献 [60]) 。 

ACR JERS, DOR 非 零 。 考 虚线 性 方程 组 

Ax=b, (5.1) 

基于 求解 对 称 线性 方程 组 的 Lanczos 方法 的 基本 思想 ， 我 们 
也 可 按照 如 下 的 方式 构造 (5.1) 的 近似 解 xk: 

(1》 任 取 一 初始 向 量 x。， 并 计算 ro=b -Ax 

(2》 计 算 Krylov FRZ CA, To OR- AREE HE 41， 
905 FS 

(3) 构造 

Xe = Xo + On ks 
其 中 Qx = [dies dcl, Ye 是 方程 组 
QF AQi Yn = ORT 

之 解 。 | 

实现 这 一 计算 方案 的 关键 在 于 如 何 实现 Krylov 子 空间 .和 (4， 
ro 有 ) 之 标准 正 交 基 的 计算 。 类 比 于 对 称 的 情形 ， 自 然 想到 通过 
直接 计算 4 的 上 Hessenberg 分 解 来 实现 这 一 计算 。 

1% AMY E Hessenberg 分 解 为 

QTAQ=H, 
其 中 Q= [lin JANIE RE, H =[h; ;]X_E Hessenberg 阵 。 
比较 
AQ=QH 
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两 边 的 第 了 列 ， 可 得 


f+1 
j= Dales (5,2) 
利用 @ 的 正 交 性 ， 可 得 l 
h; ;=4]Aq;, 1=1,2,°.",], (5.3) 

o j 
hs1,3 = | 49; - EDR (5.4) 
; 

hisin = Aqj— tiie (5.5) 


反 过 来 ， 利 用 (5.3) 一 (5.5)， 从 任 一 给 定 的 单位 向 量 9: 出 
发 ， 就 可 逐步 产生 有 ;; 和 9;， 这 就 是 所 谓 的 Arnoldi Aik. 类似 
于 定理 1.1 的 证 明 可 证 ， 这样 产 生 的 91,…,91; 正好 是 Krylov F 
ZAA o 7 的 一 组 弥 准 正 交 基 ， 上 且 

Cjy40j = 五 

其 中 Qj;= [9 ,9;7]， Hj; 是 由 迭代 产生 的 h; ; 所 组 成 的 7x7 上 
Hessenberg BF; 选 代 终止 〈《 即 出 现 kii 0) 的 充分 必要 条 件 是 
7= dim(《.%p《A,41,7))。 详 见习 题 6 ， 

利用 Arnoldi 方法 的 这 些 性 质 ， 并 按照 我 们 从 求解 对 称 线性 
方程 组 的 Lanczos 方 法 所 得 到 的 基本 思路 ， 就 可 设计 出 求解 (5.1) 
的 如 下 算法 : 

算法 5.1 

(1) 输入 4 和 初始 向 量 x. 

(2) ro0:=b ~ Axo, qi1:=ro/ rols, 7:=1. 

(3) h; qTAq;, 1=1,2,*" ,7 


j 
9 40 AG; - ahi ji» 


Ajax, j=l jale 
(4) WR hje = 0> 则 转 步 (5)， 否则 
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Giri +r/ hjys 1 1:=j +1, 
464 (3). 
(5) 求解 五 ;y ;= 上 rolel 得 y;， 
X =o +Q; j>» 
输出 Xj» 结束 。 
这 一 算法 就 是 所 谓 求 解 线 性 方程 组 的 Arnoldi 方 法 。 容 易 证 
明 ， 由 算法 5.1 得 到 的 xi 满足 
IAx;— bl =h;,. ,slesy;| =0, 
即 在 没有 误差 出 现 的 条 件 下 ， 算 法 5,1 在 有 限 步 将 给 出 (5.1) 的 
精确 解 。 在 误差 出 现时 ， 当 然 亦 可 用 ij,1, :2 了 y;| 是 否 很 小 来 判 
URE RAE eH IE. 

但 是 ， 这 里 需要 指出 的 是 ， 当 7 很 大 时 ， 由 于 整个 计算 过 程 
需要 保存 所 有 的 问 量 91,…,49jy， 因 而 需 占 用 大 量 的 内 存 ， 以 臻 于 
使 得 所 处 理 的 问题 的 规模 受到 很 大 的 限制 。 

为 了 克服 Arnoldi 方法 的 这 一 缺点 ， 通 常 使 用 时 ， 先 选择 一 
个 适当 的 正 整数 m 《一 般 不 宜 太 大 )， 计 算 到 7= m 时 ， 就 去 求 xn; 
然后 再 以 xn 作为 初始 向 量 重新 开始 这样 周而复始 直到 求 出 所 
需 精度 的 近似 解 为 止 。 这 就 是 所 谓 的 循环 Arnoldi 方 法 。 这样 | 
做 ， 虽 然 解 决 了 存储 问题 ， 但 又 会 遇 到 方程 组 Hata jrojae 不 
HRHP, KERRE ETME. 

针对 循环 Arnoldi 方法 的 这 一 缺点 ， Saad 和 Schultz( 1986) 
提出 了 广义 极 小 剩余 法 “参见 文献 L60])。 他 们 的 基本 思 想 是 ， 
对 于 选 定 的 初 值 x*， 第 步 是 求 剩余 泛 函 

yx)= |b- Axla 
在 K 维 超 平面 
Xo + Z CA, To, KE) 
上 的 极 小 点 Sro JEP ro=b- Axo HN 
N= Xot Zka 
2, eh a 
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min [b-—ACx)+2)[2= min jro-Azl, (5.6) 


ETENA T 99k) . ZET(AT yok) 
的 解 。 | | | 
现在 假定 我 们 狱 91 = ro/iroj: 出 发 ， 利 用 Arnoldi FH 法 已 求 
出 正 交 间 量 组 dis, 94411 和 h, je 则 有 
AQ = Onsite, (5.7) 
其 中 Qi =Le], 1= kk +1; H,E R&P 
“Ay s. hy,x- 1 hig 
: | hey. ** : 
Hy = Ee , : 
0 ħksk-1 hkk 


. . (5.8) 


~ hkrisk_ 
利用 (5.7? 可 得 
min lro — Az], = min{lro ~ AQ, 92: YER*} 


ZEK (AT yok) 


= min{ fr,- Qrif ryle: yeER*} 
=min{][rol2e:—- Hele: yER*}, (5.9) 


其 中 最 后 一 个 等 式 用 到 了 ”=jlrolr 和 QQrrr=Trit。 由 于 
A, 的 特殊 形式 ，(5.9) 是 容易 求解 的 。 这 样 ， 只 需 在 算法 5.1 中 
FERRET FEA Aye = [rle 换 成 求 最 小 二 好 问题 (5.9) 就 得 到 了 
广义 极 小 剩余 法 ， 简称 GMRES 算法 。 而 实际 上 常 用 的 是 循环 
GMRES 算 法 ， 即 迭代 避 步 后 再 重新 开始 ,习惯 上 称 作 GMRES(Cm) 
算法 ， 可 简 述 如 下 : 


算法 5.2CGMRESCm) 算 法 》 

CL) SA Asb, SURAT EE Xo, 最 大 选 代 次 数 mn 及 精度 要 求 €. 
(2) To: =b — AXo, ele 1 :一 工 。 

(3) h; 154} 4q}, i=],2,% 


| j 
9 pam- Dahili 
i=1 
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hjsi, ,= il. 
CD AU hn <e f= my MESO: 否则 
Vp AR eT, 
转 步 (3)。 

(5) 求解 最 小 二 乘 问题 
min{ |H 7y — irole liye RF} 
TY j» 

xima tO; je 
(6) RAL; -bl c, Mind xR APU xx FE 
步 (2) 。 

EA, Rik 5.2 不 会 发 生 中 断 ， 浆 补 了 循环 Arnoldi 方法 的 
不 足 ; 而 且 与 第 五 章 所 介绍 的 广义 共 罗 剩余 法 《 即 CGCR)》 相 比 ， 
有 节约 存储 量 和 运算 量 少 等 优点 。 央 此 ， 目 前 人 人 们 认为 这 一 算法 
是 求解 大 型 稀 玻 非 对 称 线性 方程 组 的 最 有 效 方 站 之 一 

至 于 算法 5.2 中 的 m 取 多 大 为 最 好 ， 现 在 还 没有 理论 上 的 
结果 。 在 理论 上 仪 可 以 保证 ， 在 系数 后 隆 A4 有 正定 的 对称 部 分 


(m-ca? + A) 正 定 ) 时 ， WER m, TA 5.2 总 是 收敛 的 ， 即 


随 着 循环 次 数 的 增加 剩余 向 量 起 向 于 零 ( 详 见 文献 .607)。 但 对 一 
般 情形 ， 并 非 对 任意 的 吉 总 是 收敛 的 。 例如， 对 线性 方程 组 


0 1 Xx, o, 
ee 
取 xo=0， 利 用 GMRES(CL) 求 解 ， 不 沦 衢 处 和 多少 次 ， 总 有 xi =0， 
而 14xj -外 = 2， 永 远 不 会 得 到 原 方程 组 的 解 。 但 如 果 用 
GMRES 求解 ， 两 步 就 可 得 到 方程 组 的 精确 解 。 
另外 需 指 出 的 是 ， 利 用 Arnoldi 方法 求 Krylov F- fil fy $i ME 
正 交 基 的 过 程 ， 实 质 上 就 是 Gram-Schmidt 正 交 化 过 程 。 因 此 ， 
在 误差 出 现 的 情况 下 ， 算 法 的 数值 稳定 性 较 益 ， 基 于 这 种 考虑 ， 
339 


WolkerC1988) 提 出 了 用 Householder 变换 求 Krylov -f- 43 [Al Ay HE 
正 交 基 的 CMRES 算法 。 

Bits ER”, lv ls =1。 先 取 Householder 变换 P,, 使 Pw, 
= 81。 然 后 对 m=1,2,5E RMF: 

(1) vs: 一 PPaen。 

“(2) 如果 rank[v Aver, Avg] =m, WR WM, 选取 
- Householder 和 矩阵 Pai 使 l 
Pa Pmeee PVs AU y Av, | 

为 上 三 角 和 矩阵 ， | 

容易 验证 ， 按 照 上 述 选 代 产 生 的 向 Eh 11, +, ¥_ Æ Krylov F 
空间 .多 (4,zom) 的 一 组 标准 正 交 基 。 

现在 假定 对 给 定 的 初始 向 量 xo,; 从 v=ro/jrolsCro=b- Ax) 
出 发 ,利用 上 述 方法 产生 了 向 量 V1,…,vn 和 Householder 矩阵 Pi， 
Pi。 令 


Pasir PIL Ary, oe, Av, | = | 


mil 


H m 
0 


+] 
n-mti 


M H a 是 Cm+1)xm 和 的 上 Hessenberg E, HA 
min 1b- Alxo + 2) [2 = mint| Krofee: —Hayle:¥eR™}, 


ZER(AT yom 
由 此 不 难 给 出 利用 Householder 变换 执行 的 GMRES 算法 ， 建议 
读者 作为 练习 给 出 其 详情 细节 。 
J S | 
1. RT en BAR ASE = AE. RUE: THIER 
特征 向 量 的 第 一 个 分 量 不 为 零 
2 证明， 对 任意 的 自然 数 <j <n, MARR UH 0 CCA, 
ToT) {| span{ xk, ***, Xn), 有 


Kk-l 
HKS PDCA) 十 S An 一 Ai )sin?6, ; 
Z=1 
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由 此 并 利用 第 二 节 的 有 关 引 理 及 技巧 证 明 Kaniel 关于 pk Ar 的 
收敛 性 估计 : 
2K-1 


Dt MO La SDP X G) GTE) 


k-1 


+ S (Mn 一 Mi)sin20i 。 
j=l 


HP gb Xis Bis Ar 0i 和 Cik( 纪 如 第 二 节 所 定义 ， 
3， 试 给 出 一 种 不 用 正 交 变 换 二 对 角 化 一 个 给 定 矩 阵 4E 
R” 的 方法 。 并 利用 你 的 方法 设计 出 适用 于 大 型 稀疏 矩 阵 的 奇 
SELA EAR AR RAE 
. 证 明 ， 如 果 AC SR" 有 重 特征 值 ， 则 Lanczos 和 迭代 必 
然 在 Sat 《 即 出 现 pk = 0). 
. KHAECSR™", QER”, lal:=1, ##ReErMAU MR 
向 量 9, ve Lanczos 3k (RMS ILE ER CHD Bn. =0, B20, 1<I< 
m-1). ER: mia a, 的 4 的 不 变 子 空 间 的 最 小 维 数 。 
6. 证 明 Arnoldi 方法 产生 的 9; 和 hj; 满足 ， 
(1) EZ mE hjj 0 Sim, W hasin = O0 HRES 
必要 条 件 是 m= dim(. 和 (4: gr 
(2) MEER 1<i<m A: 
(a) QQO ji = 了 (b) QȚJAQ;=H;s 
Co) ZCA, gis] ) = span{qis "9;}。 
T. (REREAD REGERE W A = "es,*…,en,e1] ER"*"， 
= ei。 对 任意 的 <mn, JH Arnoldi 方法 求 列 正 3 HIRE On 
= [qqgnER" ”和 上 Hessenberg if Ha， 使 得 


QLAQn = Hn 且 491=b=e; 


并 证 明 ， 对 任意 的 mn, SEA Hy = 6 总 是 不 相 容 的 。 
8. 给 出 利用 Householder 方法 求 Krylov 子 空间 的 标准 正 交 
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基 的 广义 极 小 剩余 法 的 详细 算法 。 
9 证明 恒 等 式 (5.7)， 并 由 此 证 明 算 法 5:1 产生 的 x; 满足 
Ax; —bla=h;.1 lety]. 


10， 设 计 一 个 数值 稳定 的 求解 最 小 二 乘 问 题 (5.9) 的 算法 。 


第 十 章 求解 Jacobi RHEE 
反问 题 的 数值 方法 
$1 基本 问题 和 定性 理论 
所 谓 Jacobi AiR 248 72 tn 


ra ps 了 
Be, as `, 0 | 


T= 2 ee 
| 0 Ona Ba | 
L Bn an 
的 实 对 称 三 对 角 和 矩阵 ， 其 中 p >0, §=2,00,n. HTAR ni 
Jacobi HET, RER A RART 划 去 第 一 列 和 第 一 行 之 后 所 得 
到 的 4 一 1 阶 主子 阵 ， 通 常 称 作 工 的 右 下 角 的 nl 阶 主子 阵 . 
Jacobi 矩阵 特征 值 反 问题 就 是 根据 已 知 的 特征 值 和 特征 向 量 
的 某 些 信息 求 Jacobi 矩阵 的 元 素 。 这 类 问题 产生 于 地 球 物理 、 振 
动力 学 等 应 用 学 科 ， 由 于 实际 问题 的 差异 而 提出 的 问题 也 不 尽 相 
同 ， 但 其 中 最 基本 的 问题 是 : 
问题 1 ”给 定 满足 如 下 条 件 
ACh LA lg <8 < (1,1) 
的 2n 一 1 个 实数 ， 求 一 个 n 阶 Jacobi MET, ERTEKET 
角 的 2 =- 工 阶 主子 阵 全 的 特征 值 分 别 为 和 Mn 和 Biya. 
这 类 问题 是 由 Hochstadt 于 1967 年 首先 提出 的 ， 经 过 近 二 十 
多 年 来 的 深入 研究 ， 现 在 已 达到 实用 阶段 。 理 论 上 ， 已 证 问题 1 
的 解 存 在 且 唯 一 ， 并 连续 地 依赖 于 给 定 的 数据 ， 数 值 方法 上 ,已 
得 到 儿 种 快速 稳定 的 方法 ， 这 一 节 ， 鞠 来 证 明 问 题 1 之 解 的 存在 
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唯一 性 ， 下 一 节 介 绍 有 关 的 数值 方法 。 
定理 1.1 HT Æ npr Jacobi 和 矩阵 。 则 ?是 问题 工 之 解 的 充 


分 必要 条 件 是 下 有 分 解 
T=QAQ', © a2) 
其 中 4=adiag(4， my An), Q@=[L4qf 让 正 净 ， 而 且 OER 
满足 i oo 
oti= aro IAr, 7=1,2,0,n, 
a (1.3) 
PERRET SE Ie] BR, Arse An ÆT É 
PRE. ete TEE AS ME O= Co, ECL. Rw. RTH 
角 的 n 一 1 EGRET ERIE Hoe Ma, 则 由 第 九 章 引 理 
3.1 知 (1.3) 成 立 。 | 
充分 性 ” 设 T 有 分 解 (1.2) 并 满足 (.3)。 记 
Pala) =det(AI-T), Paid) =detCAI-7). 


由 第 九 章 引 理 3.1 知 
9? ;= pn_1(A4j)/Pn(Aj), 了 = ,2 用 ， (1.4) 


由 了 满足 (1.2) Mp = (4 一 14， 从 而 由 (1.37 和 (1.4)》 可 
ji 
得 
n-1 
Pa CAnd=[[A;-4#)), j=l, 27n, C15) 
注意 到 Pn_1(4) 和 [4-24) 都 是 4 的 4 一 1 次 首 一 多 项 式 ，4; 互 
i=l 
PHAR, B41. DASA 
. n-1 
Pa CA=[]A-a,). 
i=l 


从 而 f 的 特征 值 是 Hista Hnus 即 工 是 问题 1 之 解 。 
定理 1.2 问题 1 有 且 仅 有 一 个 解 ， 
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证 明 AN HAREN 2n- 1 个 数 定义 两 个 多 项 式 ， 
p= JJa- Ay) 和 Pail) = Ha- Hi). 


下 证 存在 实数 ai， 正 数 72 , 和 一 个 1-2 次 首 一 多 项 式 Pa Aik 
是 
Pala) = (A ai)pn CA) — YePa-2CA) > (1.6) 
并 且 Pa-2C4) 的 零点 严格 分 隔 pn-1C(4) 的 零点 ， 
设 
Da(A) = AP Hag A + oe +A +o, 
Dn-1CA) = AM + bn 24"? +o thiA+bo, 
Pn-2(A) =A"? + Cpg" Ft ee + OA t+ eo, 
FERACL.6), Eb Be Ps Ie EAD RB, BT FF 
ai= bn- innis 
Ya = On_g~%,0n_2~ An-2s 
cy= (bj;1- ob; 41) /Ys, j=n~3,°",1, 
Cy = — (dy + 01b0) /2, 
只 要 证 明了 > 盖 0， 则 上 述 公 式 就 有 意义 ， 从 而 也 就 找到 了 
所 需 的 数 21,72 和 多 项 式 pr ->。 
由 Pn 和 Pn-1 的 定义 ， 可 得 
人 an- = Sira Di 


k=1 


n-1 
-= 一 人 > 有 baa Sh Me 
i=1 


=j+l 


于 十， 有 
a= D54 F 


,= Sapa DTG Ak) 


j=1 
从 已 知 的 2n -1 个 数 满足 条 件 (1.1) 立 即 知道 7:>0。 
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在 (1.6) 中 令 A= px 即 得 
— YaPn-2l k) = [ [Cee Ap), &=1,2,e,n-1, 
了 = 工 


由 此 即 知 psC2x) 的 符号 为 (- 1)"-k+5。 所 以 在 每 个 区 间 (Cuxy 
Lk ADA Prol DRAR Yg L Pr AB 多 有 7?-2 个 
互 不 相同 的 零点 ， 因 此 ， ps_:(4) 的 零点 正好 严格 分 隔 Pn_1(C4) 
的 零点 ， 即 
Hy Sg ee Vp oe SY gaa Cne 
重复 前 面 的 推理 ， 由 Pros 和 pn。 又 可 找到 实数 ca:， 正 数 Ys 
-和 mn-3 次 首 一 多 项 式 pn_3(4) 满 足 
phi = Ch— a )Pn-2CA) —Y3Pn-3CA), 
而 且 Pr- DORRAO Pn CSA, 
如 此 进行 2- 工 步 ， 就 可 找到 nm=-I 个 实数 aar, An 
1 一] 个 正 数 yy7asg 呈 Vn， 以 及 nn 一 1 个 首 一 多 项 式 pn_s(4)， 
Pn- lA) ete, PICA), PCA). TRE: 
C1) Pnp AD = CA— Pun CA) — YeriDn -gi CA)» K= 1, eer, 
天 一 二 
Cli) PAJE k RSWN CE (MSD; 
(ili) Pp CAMS AR A PARIE. 
令 
an = P,(0), 


Br = vy k= 20,",n, 


a, Pa 

li "r n, 0 | 

| 0 “a n-1 Bn 
an 


DU) D Ek PERE HAI T Danes mates Pns 而 其 右 下 角 的 n- 1 
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阶 主子 阵 全 的 特征 多 项 式 正好 是 Pa ATT ES 1 的 一 个 解 。 
唯一 性 ” 现 假 定 人 和 部 是 问题 1 的 两 个 解 。 由 定理 1.1 知 ， 
THT BAK 
l T=QAQT #l F= GAOT, (1.7) 
其 中 A= diag(Ais ee, An), O=[4; JM Q =L] JE X BENNY 
| 第 一 行 都 满足 (1.3)。 显 然 ， 我 们 可 以 通过 调整 和 6 每 列 元 素 
的 符号 ， 使 得 它们 的 第 一 行 元 素 均 为 正 数 ， 这 样 便 有 
Jij = ijs f=1,2,°,n。 (1.8) 
从 .8) 和 (1.7) 利 用 归纳 法 容易 推出 @= 0， 了 T= 凶 (参照 第 七 党 
定理 2,2 的 证 明 )。 
定理 1.,5 设 了 和 六 分 别 是 问题 1 关于 给 定数 据 
hha <n a <n 


和 | 
A <A gee < 


所 对 应 的 解 。 则 存在 正 数 天 和 8 使 得 ， 只 要 


n n-1 
DA; A + DH; -8Y <ð, 
j=l 了 = 1 


了 就 有 
IT - Fle<K(>) Cy- 45)? Duy ) 。 
j=1 j=l 
o (1.9) 
Jk EIEN BE, ET, AMBRE TUS 
看 文献 [39.] 或 [72]. 


(1.9) 表 明 ， 将 问题 1 之 解 看 作 给 定 数 据 的 函数 的 话 ， 它 是 
局 部 Lipschitz 连续 的 ， 


$2 数值 方法 
2.1 Lanczos 方法 


根据 定理 1.1 和 1.2， 并 利用 第 九 章 所 介绍 的 Lanczos 选 代 ， 
我 们 可 以 按 如 下 步骤 来 计算 问题 1 的 解 : 
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CL) 用 (1.3) 求 出 一 个 单位 向 最 4 ; l 
(2) 对 A= diagChis An) 和 9 应 用 Lanczos Xk HE WJacobi 
HERET. 
注意 到 A 的 简单 形式 ， 可 设计 算法 如 下 : 
算法 2.1 
(1) 输入 Aisee sAn PI ls ni 
(2) v1:= [Mean /I a7] (= ,7), 
和 i} 
ay: >A, 4}, j:=l. 
il 


=O, CA = a,) (i= 1,2,°**,7)3 


否则 ， | 
v 一 (人 4; —@;)0; 一 月 和 Ci=1,2,e,n). 
* 1/2 
(CO pph) ， 
i=l 
ViN (1=1,2,.,n), 
O =V; /Bjyrr (t= 1,2,° 1) 9 
t 
Oe t= Aye}, 
i=1 | 


(5) 如 果 i<n-1, 则 7: 二 7 +1 转 (3); 否则 输出 ar, °°", on 和 
Bases Bas 结束 、 


”这 一 算法 所 需 运 算 量 是 O(n?)。 但 由 于 Lanczos 方 法 产生 的 
Lanczos 向量 很 快 失去 正 交 性 ， 因 而 这 一 算法 的 数值 稳定 性 较 差 。 
为 了 保证 数值 稳定 性 ， 必 须 使 用 再 正 交 化 技巧 ， 然 而 ， 这 样 做 导 
致 所 需 运算 量 增 到 O(n), 


2.2 正 交 约 化 法 


前 面 介 绍 的 Lanczos 方法 ， 虽 然 简单 易 行 ， 但 为 了 保证 数值 
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稳定 性 ， 必 须 进行 再 正 交 化 ， 这样 运算 量 又 太 大 。 针 对 这 一 问 
题 ， 经 过 长 期 研究 ， 现 在 终于 设计 出 另 一 种 十 分 麻 亮 的 算法 一 一 
正 交 约 化 法 。 这 种 方法 既 数值 稳定 性 好 ， 又 仅 BOM HAE 
即 可 完成 ， 

对 给 定 的 数据 ， 用 (1.3) 计 算出 单位 向 量 9 之 后 ,构造 如 下 的 
对 角 加 边 矩 阵 


ao q7 
. A = 3 A ESRO DRD, (2.1) 


其 中 A= diag(41, "+, An), co 是 MEJL, 可 随意 指定 。 如 果 能 够 找 
到 一 个 1 BRIE Ze REO, ER 
a, qT 


$ A 1 A K Pet 
= » (2.2) 
0 Ql Alto 0 pie T 
其 中 工 是 实 对 称 三 对 角 和 矩阵 ， 则 有 
QAQT=T, piQrel=qg， pi= + fale. 

再 注意 到 ， 对 任意 的 不 可 约 实 对 称 三 对 角 和 矩阵 下， 都 可 构造 一 个 
对 角 元 素 为 1 或 -1 的 对 角 阵 马 使 得 D-IT 的 次 对 角 元 素 均 为 
正 数 ， 我 们 再 将 (2.2) 中 所 得 到 的 个 的 所 有 次 对 角 元 素 均 取 绝 对 
值 就 得 到 了 问题 1 的 解 (定理 1.1)， 

这 样 一 来 ， 求 解 问 题 1 就 转化 为 如 何 求 形 如 (2.2) 的 分 解 , 即 
如 何 利用 第 一 列 均 为 单位 向 量 ee? 的 正 交 变 换 将 4 正 交 约 化 为 
对 称 三 对 角 拖 阵 。 从 第 七 章 约 化 一 般 实 对 称 握 阵 为 对 称 三 对 角 气 
阵 的 标准 方法 可 知 ， 可 用 Householder Fy 法 来 完成 这 一 任务 ， 但 
这 样 做 所 需 的 运算 量 为 0(?3)。 HERB (2.1) 所 定义 的 4 的 特殊 
性 ， 利 用 Givens 变换 来 约 化 , 则 可 大 大 减少 约 化 所 需 的 运算 量 . 
下 面 介 绍 这 方面 十 分 漂亮 的 两 种 方法 . 

1. 驱逐 出 境 法 

这 一 方法 是 受 对 称 QR 方法 的 启发 而 得 到 的 ， 其 运算 量 与 下 
面 将 要 介绍 的 Rutishauser Y 法 完全 相同 ， 但 这 一 方法 更 自然 一 
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-X x x x x x x x x 03 
Ixx000 x x 00 04 
A= x 0 x 0 0 >| x 0 x 0 0 
ix 0 0 x 0 x 0 0 x +j. 
Lx 00 0.x 100 + xd 
x x x 0 0 rx x x 0 0- 
x x 0 0 0 x x 6 0 0) 
ao REPO gy SILO 
Joo + x x 00x x x 
0 0 + xX XK -0 0 0 x x4 
x x 0 0 0 rx x 0 0 0> 
x x + +0 x x x 0 0! 
Lyo a x x o So x x x +! 
10 + x x x 00x x x. 
0 00x x Lo 0 +x xd 
rx x 0 0 0 
PESER 
so x x x 0 
ee 
-0 0 0 x x 


Hp “x” ARN EIR, “+” 表示 变换 后 可 能 新 增 
MASTERS ICH, “>” RAH HS Bi ETC, DAER 
平面 内 的 正 交 相似 变换 后 变 成 箭头 所 指 的 矩阵 。 

上 述 过 程 ， 每 销 去 一 个 边 上 的 非 零 元 素 ， 就 会 出 现 一 个 不 希 
望 有 的 新 的 非 零 元 ， 然 后 再 将 这 一 非 零 元 素 逐 步 消 除 。 例 如 ， 当 


我 们 消去 (1,3) 和 (3,1) 位 置 上 的 非 零 元 素 之 后 ， 就 会 在 (2,4) 和 
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《4,2) 位 置 上 出 现 一 个 不 希望 有 的 非 BS 元 素 ; AJB. WIRES 
消去 这 - - 非 零 元 素 ， 于 是 又 在 (3,5) 和 (5,3) 位 置 上 又 出 现 了 一 个 
新 的 不 希望 有 的 非 零 元 素 ; 紧 接 着 再 消去 这 一 非 零 元 素 ， 就 得 到 
了 我 们 所 需 的 形式 。 因 而 ， 我 们 形象 地 称 这 一 约 化 法 为 驱逐 出 境 
法 。 

一 般 地 ， 如 果 从 消去 和 ,n+ 了 和 n+1,1) 位 置 的 非 零 元 素 出 
发 ,已 进行 了 k 步 ， 第 k+l1 步 是 先 消去 (nm 一 k,1) 和 (1,n-k) 位 
置 上 的 非 零 元 素 ， 此 时 就 会 在 (n-k+1,n-k-1)fil(n-k-1, 
?~ 无 +1) 位 置 上 出 现 一 个 新 的 不 希望 有 的 非 零 元 素 : 接着 连续 进 
行 (m 一 天 ;7 一 天 +1)，( -天 +1-K+2)nn+l ) 平面 内 的 
旋转 变换 ， 就 可 将 这 一 不 希望 有 的 非 零 元 素 逐 步 从 年 阵 的 内 部 驱 
赶 到 年 阵 之 外 。 

综 上 所 述 可 得 如 下 算法 。 

算法 2.2 

(1) 输入 Aist sAn 和 Higt** Hn_1, 1 

n-i T 5 
(2) w= (u; =À;) (A-A) (1= 1,37), 
a mÀ; (i= 1,2,1), 
Bi: =0 (i=2,.,n), 


=n, 


(3) 确定 s=sin0，c= ceos), {E 


leti] 


Og Elwa HSO, 


a;i Bil. C SI Qi 0 | 0 — 8 
Pi a, B 一 3 6 0 a, S Cc ° 


(4) 如 果 1=n， 则 i 一 1- 1， 转 步 (3)， 和 否则 =i， 进行 下 一 
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. a C S 0 
(5) = > 
PA B Te. 


确定 S=sin@, c= cosl, {E 


[e e] 


Br'=0 pr +82, 


ak Prka | e sS ak Pkr C Ss 
P Aken bl || 有 kr Okaan I: | 
(6) 如 果 Kk<n 一 1, 则 K:=k+1， 转 步 (5); 否 则 进行 下 一 步 。 
(7) WR i>, Misi, EPO 否则 


pi 一， 1 一 2，…)71， 
输出 A152 Un 和 Bo5°**5 pn, 结束 。 


不 难 算出 这 一 算法 的 运算 量 是 0(P2)。 而 且 由 于 整个 约 化 过 
程 是 用 数值 稳定 的 Givens 变 换 进行 的 ， 所 以 这 一 算法 是 数值 稳 
定 的。 数值 试验 的 结果 亦 表 明 这 一 算法 是 快速 有 效 的 ， 

2, Rutishauser 方法 

这 一 方法 基本 上 类 似 于 前 面 介绍 的 驱逐 出 境 法 ， 只 是 约 化 的 
次 序 不 同 ， 其 约 化 过 程 不 难 从 下 面 的 图 示 明 白 。 


X x x x x px xX 0 x x 
x x 0 0 0 Ix x + 0 0 
(2,3) : . 

A=|x 0 x 0 0 一 0 + x 0 0 
x 0 0 x 0 x 0 0 x 0 
x 0 0 0 x! ix 0 0 0 x 

x x 0 0 = rx x 0 0 x- 
x x xX + x x x 0 0 
(2,4)) (3,4) 
—> 0 x x + > 0 x x x 0 
a “0 0 x x 0 
x 0 0 0 一 -x 0 0 0 x 
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x x 0 0 0 rx x 0 0 0 
EEEE x x x 0 0 

(2,5) (3,5) 

一 一 一 0 x x x + | 一 -一 -DO x x XK Xx 
[ooxx0 0 0 x x + 
loo +4 0x 0 0 x + xX 
x x 0 0 07 
x x x 0 0 

4,5) | 

—- >| 0 x x x OY, 

0 0 x x x | 
6 0 0 x x4 


一 般 地 ， 如 采 我 们 已 进行 了 若干 步 之 后 ， 已 将 4 正 交 相似 变 
换 为 如 下 形状 的 和 矩阵 
A) B 
BT D 


i n-i+]l 


? (2.3) 


am-t+1 


HJ JE SCM BREN SIG, D = diag(h; "e, Àn)» 
Oitl 8 Wye 
B= OT weta 
0 0 0 了 
我 们 下 一 步 是 先进 行 (2,i1+1) 平面 内 的 正 交 相似 变换 将 4 之 
(i+1,1) 和 (1,1+1) WH fy dE Se Bo, 化 为 零 ， 这样 就 在 
G+1,2),CG+1,3),(2,1+1) 和 (3,t+1) 出 现 非 零 元 素 ; 然后 连续 
进行 (3,!+1)，(4,1+1) (+1) 平 面 内 的 正 交 相似 变换 ， 就 
义 将 其 变换 为 形 如 (2,3) 的 和 矩阵， 不 过 此 时 J 增加 了 一 阶 ， 而 8B 
和 马 都 减少 了 一 阶 。 | 
这 一 约 化 过 程 的 详细 算法 建议 读者 作为 练习 将 其 总 结 出 来 。 
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§3 相关 问题 
这 一 节 我 们 来 介绍 几 类 可 用 上 节 介 绍 的 方法 求解 的 问题 


3.1 秩 1 修改 问题 
问题 2 给 定 Qn 个 实数 


Ay by So Ag Hn Hns. 
求 一 个 nn 阶 Jacobi $iMET ， 使 得 不 的 特征 值 是 Arse An, MHT 
之 (1,1) 位 置 上 的 元 素 作 适 当 修改 之 后 得 到 的 Jacobi 阵 名 就 有 特 
征 值 4 As An。 
设 


Pn Gy! 
是 问题 2 的 解 ， 并 设 到 是 将 Oy +h AK, ay 之 后 得 到 的 ， 则 有 


@,-a,=tr(T)-tr(T)= Dh; h) (3.1) 
i=1 


MET AT 的 特征 ERKSA aD AnA, HUT ZA 
FAW n-1 BYR n- 2 阶 主子 阵 的 特征 多 项 式 分 别 为 pw-1C4)》 和 
pnr_2(4)， 则 由 三 对 角 和 矩阵 的 基本 性 质 有 

pn()=(4-ai)pn 4) — BEPn_-2CA)s 

4n(A) = A- @ 1) Pn_i CA) — BEPn-2CA). 

Dn(A)~— 4nlA) = (OG ~ PnC), (3.2) 
将 (3.1) 代 入 (3.2)， 并 注意 到 
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PAD TI-2), nas a-e), 
i-1 i=1 
就 有 

Pani) > 41)= T1240- [Ea-a,). 
l . (3.3) | 
有 反 过 来 ， 从 给 定 的 数据 4; 和 Ai， 由 (3.3) 可 唯一 地 确定 
pn-1(4)， 而 且 易 证 .Pn.1(4) 的 零点 严格 地 分 隔 PCO n PS 
CA pa-1(24j) 的 符号 为 (一 1)" i)， 这样 由 定理 1.2 知 ， 存 在 唯一 
的 Jacobi 矩阵 卫 了， 使 得 了 的 特征 多 项 式 是 pr(C4)， 而 右 下 角 的 
nn 一 1 阶 主子 阵 的 特征 多 项 式 正 好 是 由 (3.3) 确 定 的 pn_-1。 而 将 如 

此 得 到 的 了 之 a 换 作 
a =a, +> (Hu; ~A;) (3.4) 


MRAD EBE I 之 特征 多 项 式 正好 是 49.)= 于 于 (4-1)， 这 也 
就 证 明了 问题 2 之 解 存 在 唯一 ， 而 且 可 按 如 下 步骤 求 得 问题 2 的 
解 ， 
Cl) 计算 
@;=[Dn-10Aj)/PatAy ss”, 7=1,2,°%,n, 
其 中 pa :04) 由 (3.3) 定 义 ，pa= [[A-a. - 
. 、 jel 


C2) xt Arstt sÀn All q= CO nn) HETTIE EEk 
IH Jacobi ips 7 。 


3.2 J RRR Jacobi 矩阵 的 特征 值 反 器 题 


问题 3 给 定 n 个 实数 
Ayn Ags one < Ans 
求 一 个 n 阶 广 对 称 Jacobi RET , EIT W FF TEA ME E 9 
Ai r***yAne 
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为 了 解决 这 一 问题 ， 我 们 先 来 讨论 一 下 广 对 称 Jacobi 矩阵 的 
基本 性 质 。 设 Jacobi 矩阵 


是 广 对 称 的 ， 即 
Qi 一 Cn-i+rls9 i= 1,2,,[n/2], | 
(3.5) 
lee Bree i=2,3,°,[n/2]. 
4-k=[n/2]. id S=E,S°E,, HP 
a, Bo 
Be 4 n. 
Sz = -o 
`, Q@,-1 Br 
. Pk fk 
Ex= lepse e] ERE 为 k 阶 反 序 单位 矩阵 ， 则 由 (3.5) 可 知 全 ' 
”可 写成 如 下 形式 : 
(1) 当 n= 2k 了 时 ， 
_ S? LP 
k 


(2) 当 m = 2k + 1 时 ， | 
SP Bek 0 - 

r= | pe; Akai pet | (3.7) 
0 Be S -& 

k 1 k 


其 中 B= Bxrr1= Brees . 
于 是 有 : 
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Ci) 当 n= 2k FF, 


r= L" ERTS th 0 lf Ex fk |: 
.22171x Ik 0 S-pPeetit— Ep Ik 
(3.8) 
其 中 p= Basis 
(2) 当 n= 2k + 1b} 
0 Ex, -Ek aps 26ei 
T=% V2 0 0 |\\W 2 pe, S 0 
0 I Ik 0 0 
0 v2 0 
x Ex 0 | €3.9) 
-Ek 0 Tx 


其 中 B= Busi = Prize 
这 表明 广 对 称 Jacobi 矩阵 的 特征 值 问题 可 以 化 为 两 个 阶 数 等 
于 原 和 矩阵 阶 数 一 半 的 Jacobi 矩阵 的 特征 值 问题 ， | 
由 于 个 的 次 对 角 元 素 均 为 正 数 ， 故 它 的 特征 值 互 不 相同 ， 假 
设 其 为 
Ar CAL Ane 
“n= 2k -+ 1 时， 由 (3.9) 知 ， 


ACT) = ACT xe UACS)s 
其 中 
I RaT 
Tens [SRD v2 Be) 
s” 2 fe, S 
现在 假定 Tk 和 3 的 特征 值 分 别 为 
[hy <a eee yy AY gee yy 
Wij 由 S 是 Tk， :的 一 个 k 阶 主 子 阵 ， wA 
fy Vy Mg Vg L Ne Cka le 


从 而 有 
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人 f= 1,2,++,k,k+1, 


， (3.10) 
Vi = Ange t= 1,2,+,k, 

当 ? = 2K 时 ， 由 《3.8) 知 
AT) = ACS + Beet) UACS ~ peen). (3.11) 


AT AT RIES S + Bevel F S- Beret 的 特征 值 之 间 的 进 
一 步 关 系 ， 先 证 一 个 引 理 
引 理 3.1 设 A 是 nxn 实 对 称 和 矩阵 , 它 的 特征 值 是 4 SA 
<Any IRB EERO A- Bee REA ASA, SA, 
则 有 
hn 
证 明 对 任意 的 zx= Cio FDTER", A 
xTCA— BeeT)x= xTAx — BESTAK, 
因而 由 Hermite 矩阵 的 极 小 极 大 定理 ， 丰 有 
À SAn i=1;2,.,n, (3.12) 
设 A 的 右 下 角 的 n - LTE TRER EIA AR S S Hna’ N 


有 

MSH S Hna SAn 
和 

Ay Sy Shey Sine 
从 而 有 


Aj 2H; Ais t= Qyerrym, (3.13) 


由 (3.12) 和 《3.13) 便 知 引 理 3.1 的 结论 成 立 ， 
注 3.1 在 引 理 3.1 中 将 8 换 作 负数 时 ， 完 全 类 似 可 证 
Ay SA An An 
1S + Peel A S- Bere) 的 特征 值 分 别 为 
Pyh CeL 和 De< < 
则 注意 到 B= hx, 过 0， 从 引 理 3.1 可 推 知 


Vy A Vg T Hg A e Cg Tke (3.14) 
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从 (3.11) 和 (3.14) 即 知 

H; = Azis YT Az- 5=1 2 天 。 (3.15) 
此 外 ， 还 有 

` 2p=tr(S + feet) —trCS - feet) © 


k 
= $ Azizi -1)e (3.16) 


现在 我 们 利用 上 述 关于 广 对 称 Jacobi 矩阵 的 基本 性 质 来 解决 
问题 3 

当 n=2k+1 时， 由 (3.10),(3.9) 和 (3.7) 知 ， 此 时 间 题 3 等 
价 于 ， 求 一 个 k+1 阶 Jacobi 矩阵 


Tr | "er V2 pet, 

Vv 2 pe, S 
使 得 Ti WREE EA Agee sAok-roAck+1 而 S 的 特征 值 是 4,， 
Aos 4。 这 正好 是 我 们 曾 讨论 过 的 基本 问 题 ， 因 此 ， 问 题 3 
有 且 仅 有 唯一 的 解 ， 而 且 可 用 § 2 中 所 介绍 的 方法 求解 。 

当 n= 2k 时 ， 从 (3.6),(3.8) 和 (3.15) 知 ， 问 题 3 就 等 价 于 : 

求 一 个 k 阶 Jacobi 矩阵 

S — pect, 


使 得 它 的 特征 值 是 Ais Ags "yAok- 1 w HS + Pee 的 特征 值 是 
Aas sA2ke 这 正好 是 我 们 曾 讨 论 过 的 秩 1 修 改 问 Ra 因此 ， 此 
时 问题 3 亦 有 唯一 的 解 ， 而 且 亦 可 用 2 中 所 介绍 的 方法 来 求解 。 


3.3 对 角 算 阵 与 秩 1 矩 阵 之 和 的 特征 值 

问题 4 1 A=diag(Ay,-,An), AER, CER", RO. HK 
ea RE A + dd? 的 特征 值 。 

当然 这 一 问题 可 以 应 用 对 称 QR 方法 来 求解 。 而 这 样 做 的 第 
一 步 就 是 将 A + dd? 约 化 为 对 称 三 对 角 和 矩阵 。 如 果 按 Householder 
方法 来 约 化 ， 就 需 运 算 量 Ay O(n); (AMR AL A + dd? 的 特殊 
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性 ， 应 用 上 节 所 介绍 的 方法 来 约 化 ， 则 只 需 运 算 量 OCn REA se 
成 约 化 其 为 三 对 角 和 矩阵 的 任务 ， 
由 上 节 的 讨论 知 ， 对 于 对 角 加 边 和 矩阵 


A=| “] (3.17) 


可 以 用 正 交 约 化 法 以 Om ) 次 运算 就 可 将 4 三 对 角 化 ， 即 可 求 得 mn 
阶 正 交 垂 阵 @ ， 使 得 
1 0 1 01 p% pe? 
P orj4L。 o= l pie mae (3.18) 


比较 (3.18) 的 两 边 可 得 
© QTAQ=T, piQe=d, i= +ldl,. 
由 此 可 得 
QCA +dd")Q=T + pieiet, 
即 这 样 得 到 的 C@ 亦 将 4+dd7 ZHE Het Pe Mt ARE. A, af 
tein PRB A + dd" fy REA. 
算法 5.1 
CG) 用 “驱逐 出 境 法 ”或 “Rutishauser 方 法 ”将 (3.17) 约 化 
为 (3.18) 的 形式 ， 求 得 对 称 三 对 角 乱 阵 卫 和 常数 ， 
(2) 用 措 双 ilkinson 位 移 的 对 称 QR HA RERE T + Bp?e1ei 的 
特征 值 . 
J 题 
1. 设 人 是 实 对 称 三 对 角 惩 阵 ， 印 是 将 人 的 次 对 角 元 素 取 绝 
对 值 之 后 得 到 的 和 矩阵。 证 明 荆 与 闻 有 相同 的 特征 值 
2. A AM fA And ERE 


n a bT 
a-l; vl 


Ft Hb = (Bootes Ba)» M = diag Hister Hn) yy gees Sn ae 
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试 证 实数 Aye 8S An 是 A 的 特征 值 的 充分 必要 条 件 是 : 
CL) MASA hn 


- n Nn-1 
(2) Pir1= - TE; -4p STI -ep， 
ES 
i= 1,2, n- l. 
3. IF p= span{1, x, 1,4071), BN Py 表示 全 体 次 数 不 超 
过 入 一 1 的 实 系 数 多 项 式 的 全 体 ，51,…,txw 是 N 个 互 不 相同 的 实 
数 ， wi OEN PIER, 定义 - 


N 
<Py9> = > 0 Pe, Jalis PIE Fue 
; ial 


WEI., .> 是 线性 空间 .Fw 上 的 一 个 内 积 ， 
4. 证 明 在 在 唯一 的 首 一 多 项 式 序列 {4;(x))Y 满 足 ， 
CL) 9, CORREA Es 
(2) <434> = 0, iJ, 

其 中 <*,，> 是 习题 3 所 定义 的 内 积 。 

5。 设 {91《x)}# 是 习题 4 所 述 的 首 一 多 项 式 列 ， 证 明 它们 满 

足 如 下 的 三 项 递 推 公式 ， 
q(x) G(x) =x- 
qı Cx) = (x-a; )9,-1€%) — B79;-2€4), i= 2,8, 08, N, 
其 中 
Qi =《9i-1yxgi-12/<9qi-1y9i-12， $= 1 2，N， 
Bi = 060219941919; 9， > i= 2，…N， 
《<。,*> 如 习题 3 所 定义 。 

6， 设 PwC(x*) 和 pwn-1《x) 是 两 个 次 数 分 别 为 N 和 N -1 的 首 一 
LMA, 证明 py 和 pw-1 是 习题 4 所 述 的 首 一 多 项 式 序列 中 两 个 
次 数 最 高 的 多 项 式 的 充分 必要 条 件 是 : 

(D 5 是 pn《4) 的 根 ， 即 pnC&;) = 0, f= 1 和 Ni 
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(2) PACE Pu-i CE0, RAEES ”使 得 
Wi = yf/ Paes Pu 1 Ci), t= 1,2,.…,N, 

7.. 利用 习题 6 的 结论 证 明 问 题 1 有 且 仅 有 一 个 解 ， 并 据 此 
给 出 一 种 求解 问题 1 的 算法 ， 

8. 给 定 实数 列 1 名 -E (ks n-ren), 满足 

A DAR i ,2 k-1, k=n-r4l],» nm. 

试 设 计 一 种 算法 ， 构造 一 个 带宽 为 27 + 1 的 实 对 称 和 矩阵 4 ， 使 得 
AHJ k BST MERE FREA jy FE GEA AE AE pose Aik (k=n-rye 72), 

“ 9， AE PIED Bin 1 个 实 并 


A pl Ane 
试 给 出 一 种 算法 ， 计算 一 个 周期 Jacobi 知 阵 
ra, By Bi 
| By Gy `, 0 
Inet te > B,>0, 
0 aay ia 
Lf, Pn Gy 


全 得 人 "的 特征 值 是 tm， 全 的 — UBD UE EF PERO ELEC 
…:An 1， 并 且 有 
BipsrPa= Be 
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